Sel kevadsemestril katsetasime Robootika ja autonoomsete sõidukite uurimisrühmas, mis juhtub, kui tudengi praktilise töö vaatab enne õppejõudu üle AI-hindamisassistent. Eesmärk oli lihtne: kiirem tagasiside tudengile ja õppejõu aja optimeerimine selleks, mis päriselt loeb sisuliseks vestluseks. Allpool sellest, mida tegime, mis töötas ja kus komistasime.
Katse hõlmas Tootearendus ja robootika (EARB) eriala kolmanda kursuse kahte ainet: „Asjade internet” ja „Autonoomsed sõidukid” ning kokku oli 67 tudengit Mõlemad ained on üles ehitatud jooksva hindamise põhimõttel ja keskenduvad suuresti omavahel seotud praktilistele töödele. Lõpphinde annab praktiliste tööde aruannete punktisumma: ühes aines on neid neli, teises kolm, osa tehakse rühmatööna, enamik aga individuaalselt.
Senine hindamine on käinud klassikalist rada. Tudeng laeb aruande Moodle’isse (loodetavasti tähtajaks), õppejõud hindab selle tavaliselt paari nädalaga ära ja saadab tagasiside, tudeng täiendab tööd, õppejõud hindab uuesti. Oleme lubanud seda korrata nii kaua, kui tudeng oma punktisummat parandada soovib. Õppejõule tähendab see üsna suurt koormust, eriti madala kvaliteediga ja nõuetele ilmselgelt mittevastavate tööde puhul, ning tudeng peab täienduste järel tagasisidet sageli nädalaid ootama.
Sel semestril katsetatud lahendus oligi mõeldud just nende kitsaskohtade leevendamiseks. Tegime kiire prototüübi, mis laseb tudengil anda oma töö enne õppejõule saatmist hindamiseks AI-hindamisassistendile. Tegelikult oli see semestri algusest reegel: iga töö pidi esmalt läbima AI-hindaja ja saama positiivse tulemuse, enne kui õppejõud seda üldse vaatama hakkas. Künnis on meil alati olnud sama- töö peab koguma vähemalt 51% maksimumist, et see hindamisel arvesse läheks. AI-hindajale koostasime väga konkreetsed hindamiskriteeriumid ja süsteemse prompti, mis kattis ainete- ja aruandeüleseid reegleid. Tudeng võis oma parandatud aruande AI-le anda nii mitu korda, kui soovis, kuni oli punktisummaga rahul ja see ületas künnise.
Seejärel leppis tudeng õppejõuga kokku aja töö kaitsmiseks. Varasematel aastatel me aruandeid suuliselt kaitsta ei lasknud, kõik käis kirjalike tööde põhjal. Kuna õppejõud ei pea enam tegema töömahukat esmast hindamist, lisasime selle arvelt suulise kaitsmise: tudeng ja õppejõud kohtuvad lühikeseks vestluseks, kus õppejõud saab kiiresti selgeks, mida tudeng ainest tegelikult omandanud on. Nii kiirenes ühelt poolt tudengi esmane tagasiside ja teiselt poolt vabanes õppejõu aeg näost näkku toimuvaks kaitsmiseks.
Suures plaanis õnnestus piloot hästi: nii õppejõud kui ka tudengid pidasid just sellist kombineeritud mudelit tulevikus kõige eelistatumaks. Kokkuvõttes hindas 90% tagasiside andjatest lahenduse positiivseks ja sisulist õppimist toetavaks. Kitsaskohti siiski jagus. Suurim neist oli AI-hindamise varieeruvus, sarnased tööd võisid saada erineva punktisumma. Õppejõud tõid välja, et AI ei suuda sisuliselt analüüsida graafilist materjali ega siduda seda tekstiga, näiteks süsteemimudeleid programmikoodiga. Olulise nüansina märgiti ka seda, et tudengil tekib kiusatus hakata aruannet AI-hindaja jaoks optimeerima.
AI kaasamine hindamisse on tõenäoliselt paratamatu, seda enam, et julgustame ka tudengeid kasutama AI-d õppetöös: aruannete vormistamisel, ideede genereerimisel ja mujal õppeprotsessi toetavas tegevuses. On igati loomulik, et sama teeme õppejõu töö tõhusamaks ja mugavamaks muutmisel. Kõige kriitilisem on aga see, et sisuline õppeprotsess, teadmiste ja oskuste omandamine, ei kannataks, vaid hoopis kasvaks.
Halvasti üles ehitatud AI-toega õppes on reaalne oht, et tudeng laseb kogu aruande AI-l valmis teha, õppejõu AI-hindaja hindab selle ära ning kaks AI-d suhtlevad omavahel, samal ajal kui õppejõud ja tudeng jäävad kõrvaltvaatajaks. Selle vältimiseks tuleb AI-ajastu õppeprotsess hoolikalt disainida nii, et AI on mõlemal pool integreeritud töövahend, kuid õppejõu ja tudengi otsesuhtlus ning sisuline õppimine hoopis suurenevad. Lihtne see ei ole. Tagasipöördumine pliiatsi, paberi ja puhtalt suulise eksami juurde ülikooli ega õppeainet ei päästa, ajutiselt võib seda teha, kuid kaugele sellega ei jõua.
Pigem tuleb kujundada õppejõu roll ümber: vähem mehaanilise info jagamist ja selle taasesitamise kontrolli, rohkem hoiakute, kriitilise mõtlemise ja õppimisvõime arendamist. Sinna jõudmiseks tuleb katsetada ning kujundada nii tudengite, õppejõudude kui ka juhtkonna hoiakuid, et võtta parimad praktikad reaalsesse õppetöösse üle.
Eksperimentaaltarkvara arendust toetas Inseneriakadeemia EARB programm. Teemat käsitlev koolitus: AI tšempionite töötuba — AI-toega hindamine.