Süni intellekt tələbələrin esselərinə insanlardan daha yüksək qiymət verir – Araşdırma

Süni intellekt alətlərinin tələbələrin yazılı işlərini qiymətləndirərkən insanlardan daha yüksək bal verməyə meyilli olduğu və onların nəticələrinin tələbənin real akademik göstəricisini dəqiq əks etdirmədiyi müəyyənləşib.

Tehsilmedia.com “Azərbaycan müəllimi”nə istinadən xəbər verir ki, “Assessment & Evaluation in Higher Education” jurnalında dərc olunan araşdırmada generativ süni intellekt alətlərinin, o cümlədən "ChatGPT"nin tələbə esselərinin qiymətləndirilməsində insan mühakiməsini etibarlı şəkildə təkrarlaya bilmədiyi ortaya çıxıb.

Tədqiqatçılar bakalavriat səviyyəsində bioloji elmlər üzrə yazılmış 50 esseni "ChatGPT"nin iki versiyasına təqdim edərək onları 7 qiymətləndirmə meyarı üzrə və 4 fərqli sorğu şərti ilə qiymətləndiriblər. Nəticədə süni intellektin verdiyi qiymətlərlə insan qiymətləndiricilərin nəticələri arasında əhəmiyyətli fərqlər aşkarlanıb.

Bir hal istisna olmaqla, süni intellekt esselərə insanlardan daha yüksək orta bal verib. Ən böyük fərq isə maksimum 100 bal olan bir essedə 40 bal təşkil edib.

Araşdırmaya görə, aşağı nəticə göstərən esselər süni intellekt tərəfindən insan qiymətləndiricilərlə müqayisədə daha yüksək, yüksək nəticə göstərənlər isə daha aşağı qiymətləndirilib. Orta səviyyəli esselərdə isə süni intellektin qiymətləri insan qiymətləndirmələrinə daha yaxın olub.

Tədqiqatçılar bildiriblər ki, böyük dil modelləri eyni esseyə eyni sorğu ilə qiymət verərkən nisbətən sabit nəticələr göstərsə də, müxtəlif səviyyəli esselərin qiymətləndirilməsində insan qiymətləri ilə uyğunluq zəif olub.

Araşdırmanın həmmüəllifi, Kardiff Universitetinin baş müəllimi Uilyam Kay bildirib ki, hazırda generativ süni intellekt geniş yazılı işlərə insanlar qədər etibarlı qiymət verə bilmir.

Süni intellektin qiymətləndirməni sürətləndirmək və akademik heyətin iş yükünü azaltmaq məqsədilə istifadəsinə maraq artsa da, tədqiqatın nəticələri hazırda bunun məqsədəuyğun olmadığını göstərir. O, tələbələrin yazılı işlərinə qiymət verilməsi üçün böyük dil modellərinə etibar edilməməli olduğunu vurğulayıb.

Tədqiqatçılar hesab edirlər ki, gələcəkdə böyük dil modellərinin inkişafı onların insan mühakiməsini təqlid etmək qabiliyyətini artıra bilər. Bununla belə, qiymətləndirmə meyarlarının daha dəqiq və obyektiv müəyyənləşdirilməsi də süni intellektlə insan qiymətləndirmələri arasındakı fərqin azaldılmasına kömək edər.