PISA-da “sürətli inkişaf”, yoxsa statistik manipulyasa?

Azərbaycan məktəbində milli və beynəlxalq qiymətləndirmələrin nəticələri niyə bir-biri ilə ziddiyyət təşkil edir? Təhsil statistikası necə yanlış siyasi nəticələrə çevrilə bilər?

Son günlər Azərbaycan təhsil sisteminin beynəlxalq qiymətləndirilməsi ilə bağlı maraqlı və ciddi metodoloji sual ortaya çıxmışdır. ETN rəsmi təqdimatlarda Azərbaycanın PISA nəticələrində “sürətli dinamik inkişaf” göstərdiyi, hətta dünyanın ən dinamik inkişaf edən azsaylı təhsil sistemlərindən biri olduğu haqqında fikirlər səsləndirilir. Bu iddia ilk baxışdan müsbət, ümidverici və sevindirici kimi görünür. Lakin məsələ optimistlikdə və ya pessimistlikdə deyil. Məsələ müqayisənin düzgün qurulmasındadır.

Təhsil sisteminin keyfiyyəti haqqında verilən hər hansı iddia ən azı bu üç suala cavab verməlidir:

1. Hansı göstərici artır?
2. Hansı dövr ilə müqayisədə artır?
3. Bu artım şagirdlərin real bilik və bacarıqlarında baş verən dəyişikliklərə nə dərəcədə uyğundur?

Bu suallar cavablandırılmadan “sürətli inkişaf” ifadəsi elmi nəticədən daha çox statistik şərhə çevrilə bilər.

PISA nəyi ölçür və nəyi ölçmür?

PISA haqqında ictimai müzakirələrdə tez-tez belə bir fikir irəli sürülür ki, PISA şagirdlərin nəzəri biliklərini yox, onların bilikləri praktik həyatda tətbiq etmə qabiliyyətini qiymətləndirir. Bu fikir müəyyən qədər doğrudur, amma yarımçıqdır. PISA şagirddən əzbərlənmiş faktı təkrar etməyi tələb etmir, o, riyazi və oxu savadlılığını, elmi savadlılığı real və ya reallığa yaxın situasiyalarda tətbiq etmə qabiliyyətini qiymətləndirir.

OECD-nin yanaşmasına görə, PISA 15 yaşlıların mürəkkəb problemləri həll etmək, tənqidi düşünmək və biliklərini müxtəlif situasiyalarda tətbiq etmək səviyyəsini müəyyənləşdirməyə çalışır. Lakin burada çox vacib bir məntiqi həqiqət var. Bilik tətbiq etmək üçün əvvəlcə bilik sahibi olmaq lazımdır.
Riyazi bilik olmadan riyaziyyatı tətbiq etmək mümkün deyil. Mətnin məzmununu anlamaq üçün oxu və dil səriştələri lazımdır. Elmi nəticə çıxarmaq üçün müəyyən həcmdə elmi bilik və anlayış bazası olmalıdır. Başqa sözlə, tətbiqi bacarıq=bilik+anlama+ duşünmə+tətbiq. Bu zəncirin birinci halqası zəifdirsə, sonuncu halqanın güclü olması barədə iddia sübut tələb edir. Məhz buna görə milli qiymətləndirmələrin nəticələri ilə PISA arasında yaranan, görünən ziddiyyət ciddi təhlil olunmalıdır.

Milli qiymətləndirmə və PISA fərqlidirlər, əlaqələri zəifdir

Burada metodoloji səhvdən qaçmaq lazımdır. Milli qiymətləndirmə ilə PISA eyni imtahan deyil. Onların məqsədləri, test modelləri, seçmə üsulları, hədəf qrupları, ölçmə şkalaları fərqlidir. Məhz buna görə DİM-in və ya digər milli qiymətləndirmələrin nəticəsini PISA balı ilə birbaşa eyniləşdirmək düzgün olmaz. Lakin bundan əks nəticə çıxarmaq da düz deyil. Yəni, bunlar fərqli imtahanlardır, ona görə nəticələr arasında heç bir əlaqə olmamalıdır deyə bilmərik. Bu, metodoloji cəhətdən doğru olmazdı.
Əgər milli qiymətləndirmələr uzun müddət ərzində şagirdlərin riyaziyyat, təbiət elmləri, oxu, xarici dil, məntiqi düşünmə üzrə ciddi problemlər yaşadığını göstərirsə, eyni yaş qrupunda beynəlxalq tətbiqi bacarıqların birdən-birə kəskin yüksəlməsi izah tələb edir. Çünki iki sistem fərqli şeyi ölçsə də, eyni təhsil ekosisteminin məhsulunu ölçür.

PISA 2022-də Bakı üzrə nəticələr 2018-dən aşağı olub

Müzakirədə ən mühüm məsələ budur ki, OECD-nin PISA 2022 üzrə rəsmi məlumatı Bakı üçün konkret nəticə verir: 2022-ci ildə orta nəticələr 2018-ci illə müqayisədə riyaziyyat, oxu və təbiət elmlərinin hər üçündə aşağı olub. Bu, şərh deyil, OECD-nin rəsmi məlumatıdır.
PISA 2022-də Bakı üzrə orta nəticələr belə olub: riyaziyyat — 397 bal, oxu — 365 bal, təbiət elmləri — 380 bal. OECD orta göstəriciləri isə müvafiq olaraq daha yüksək idi. Riyaziyyat üzrə OECD ortalaması 472, oxu 476, təbiət elmləri 485 bal təşkil edib. Riyaziyyatda Bakı üzrə şagirdlərin təxminən 38 % ən azı baza səviyyəsi hesab edilən 2-ci səviyyəyə çatıb. OECD üzrə orta göstərici isə 69 faizdir. Təbiət elmlərində isə Bakı üzrə şagirdlərin 34 % minimum 2-ci səviyyəsinə çatıb. OECD üzrə bu göstərici 76 % .
Bu faktların fonunda “PISA nəticələri sürətlə yüksəlir” ifadəsi hansı göstəriciyə əsaslanırsa, ETN həmin göstəricini açıq şəkildə təqdim etməlidir. Çünki ümumi orta nəticələrin trendi ilə “reytinq mövqeyinin dəyişməsi” eyni şey deyil.

Təhlükəli statistik səhv:bal artmır, amma yer yüksəlir

PISA nəticələrinin ictimai təqdimatında manipulyasiya imkanlarından biri məhz burada yaranır. Təsəvvür edək ki, bir ölkənin balı 400-dən 395-ə enir. Lakin həmin dövrdə başqa ölkələrin nəticələri 450-dən 400-ə və ya daha aşağı səviyyəyə enir. Bu halda, birinci ölkənin beynəlxalq sıralamadakı mövqeyi yüksələ bilər. Nəticədə, siyasi təqdimatda belə deyilir ki, “ölkə beynəlxalq reytinqdə irəlilədi.” Halbuki, şagirdin real nəticəsi artmayıb, əksinə, aşağı düşüb. Bu fenomeni belə də ifadə etmək olar:

Nisbi yüksəliş hələ real inkişaf deyil

PISA 2022 pandemiyadan sonra keçirildiyi üçün dünyanın bir çox təhsil sistemində nəticələr aşağı düşüb. OECD-nin ümumi məlumatları göstərir ki, qlobal miqyasda nəticələrdə ciddi enmələr və uzunmüddətli zəifləmə tendensiyaları müşahidə olunub. Belə şəraitdə bəzi ölkələrin və ya şəhərlərin nisbi mövqeyi yaxşılaşa bilər, baxmayaraq ki, onların öz nəticələri artmayıb. Bu səbəbdən “biz 2 pillə və ya 10 pillə irəliləmişik” ifadəsi avtomatik olaraq “bizim təhsilimiz yaxşılaşıb” mənasını vermir.

Ölkə ilə Bakı eyni statistik vahid deyil

PISA nəticələrinin şərhində xüsusilə vacib bir metodoloji detal var. OECD məlumatına görə, Azərbaycan 2006 və 2009-cu illərdə ölkə səviyyəsində iştirak edib. Lakin 2018-ci ildən etibarən iştirak “Baku (Azerbaijan)” kimi təqdim olunur. OECD-nin Şərq Tərəfdaşlığı üzrə hesabatı da bunu açıq göstərir. Bu o deməkdir ki, müxtəlif dövrlərin nəticələrini müqayisə edərkən belə bir sual mütləq qoyulmalıdır: Eyni populyasiyanımı müqayisə edirik?
Əgər 2009-cu ildə bütün Azərbaycanı, 2018 və 2022-ci illərdə isə Bakı üzrə seçməni müqayisə ediriksə, “Azərbaycanın sürətli inkişafı” haqqında qərar vermək metodoloji səhvdir. Çünki ölkə üzrə nəticə və Bakı üzrə nəticə tamam fərqli kəmiyyətlərdir.
Şəhər əhalisinin sosial-iqtisadi vəziyyəti, müəllim keyfiyyəti, məktəb infrastrukturu, ailələrin təhsil səviyyəsi, əlavə hazırlıq imkanları bütöv ölkədən fərqlidir. Bu səbəbdən ölkə miqyasında irəliləyiş barədə iddia etmək üçün eyni populyasiya üzrə uzunmüddətli müqayisə lazımdır.

Seçmə və əhatə dairəsi

PISA nəticələrinin müqayisəsində seçmənin əhatə dairəsi də çox vacibdir. OECD-nin 2022 məlumatına görə, Bakıda 7 720 şagird və 178 məktəb PISA qiymətləndirməsində iştirak edib. Bu seçmə təxminən 30 500 nəfər 15 yaşlı şagirdi təmsil edirdi. OECD məlumatına əsasən, həmin göstərici təxminən ümumi hədəf yaş qrupunun 73 % uyğun idi. 2018-ci ildə isə Bakı üzrə əhatə göstəricisinin daha fərqli olması görünür. Beynəlxalq Təhsil Statistikası Mərkəzinin PISA texniki məlumatlarında Bakı üzrə 15 yaşlı əhalinin məktəb əsaslı əhatəsinin 46,3 % olduğu göstərilir.
2018 və 2022-ci illərdə müqayisə edilən şagird populyasiyalarının strukturu tam eynidirmi? Əgər seçmə və əhatə strukturu dəyişibsə, nəticələrin zaman üzrə müqayisəsində həmin fərqlər nəzərə alınmalıdır. Bu, OECD-nin məlumatlarının etibarsız olduğu anlamına gəlmir. Əksinə, OECD 2022-ci il Bakı məlumatlarının PISA keyfiyyət standartlarına cavab verdiyini bildirir.

Etibarlı ölçmə ilə düzgün siyasi şərh eyni anlayış deyil. Məlumat düzgün ola bilər. Amma onun təqdimatı yanlış ola bilər. DİM və PISA nəticələri arasındakı “ziddiyyət” haradan yaranır? Burada bir neçə mümkün izah var.

Birinci izah: Həqiqətən, fərqli səriştələr ölçülür. Bu, sadə və qismən doğru izahdır. DİM proqram mənimsəməsini, fənn biliklərini və müəyyən akademik nəticələri daha birbaşa qiymətləndirə bilər. PISA isə biliklərin tətbiqi, şərhi, problemlərin həlli, kontekstdə istifadəsi üzərində dayanır. Nəzəri olaraq şagird müəyyən proqram bölmələrini zəif mənimsəyə bilər, lakin bəzi praktik məsələləri nisbətən yaxşı həll edə bilər. Amma bu, az ehtimallıdır. Çünki uzunmüddətli və genişmiqyaslı fundamental bilik azlığı tətbiqi səriştələrin yüksək olması ilə izah edilə bilməz.

İkinci izah: Müxtəlif yaş və seçmə qrupları. DİM-in qiymətləndirdiyi şagird kontingenti ilə PISA-nın 15 yaşlı seçməsi eyni olmaya bilər. Bu, nəticələrdə müəyyən fərq yarada bilər. Lakin yenə də ümumi sistem diaqnostikası baxımından aşağı nəticələr müxtəlif mənbələrdə təkrar olunursa, onları “fərqli imtahanlardır” arqumenti ilə izah etmək olmaz.

Üçüncü izah: Mütləq nəticə ilə nisbi reytinqin qarışdırılması. Bu, real və ciddi ehtimallardan biridir. Təhsil sisteminin nəticəsi aşağı düşə bilər. Amma digər ölkələrin nəticəsi daha çox aşağı düşərsə, ölkənin reytinqi yaxşılaşa bilər. Beləliklə, şagirdin nəticəsi dəyişmir, amma reytinq artır. Bu halda ictimaiyyət təbii olaraq yanlış nəticəyə gələcək.

Dördüncü izah: “Artım” sözünün yanlış istifadəsi. Təhsil siyasətində “artım” sözü çox ehtiyatla işlədilməlidir. Artım nədir?
• orta balın artımı?
• baza səviyyəsinə çatanların artımı?
• yüksək nəticə göstərənlərin artımı?
• reytinq mövqeyinin yüksəlməsi?
• OECD orta göstəricisinə yaxınlaşma?
• digər ölkələrdən daha az geriləmə?

Bunların hər biri tamamilə fərqli göstəricidir. Məsələn, “Azərbaycanın PISA-da inkişaf tempi yüksəkdir” fikri yalnız o halda elmi məna daşıyır ki, burda dəqiq indikator göstərilsin. Əks halda, “inkişaf” anlayışı statistik yox, ritorik kateqoriyaya çevrilir.

Təhsil siyasətində ən böyük təhlükə, “yaxşı” xəbərin pis qərar yaratmasıdır

Əgər real vəziyyət ağır olduğu halda, statistika uğur kimi təqdim edilirsə, sistemin özünü düzəltmək (inkişaf) qabiliyyəti zəifləyir. Bu, xüsusilə təhsil üçün təhlükəlidir. Çünki təhsil islahatında ilk addım düzgün diaqnoz olmalıdır. Əgər həkim xəstəyə səhv diaqnoz qoyursa, ən yaxşı dərman belə kömək etməyəcək. Eyni prinsip təhsilə də aiddir.
Əgər sistemdə kurikulum problemi varsa, dərsliklərin keyfiyyəti aşağıdırsa, müəllim hazırlığında boşluqlar varsa, məktəb idarəetməsi zəifdirsə, şagirdlərin fundamental bilikləri yetərli deyilsə, amma biz statistik təqdimat vasitəsilə “sürətli inkişaf” görüntüsü yaradırıqsa, islahat üçün siyasi baza zəifləyir. Nəticədə problem həll olunmur, sadəcə daha yaxşı təqdim edilir. Saxta rəqəmlərlə insan kapitalı yaratmaq mümkün deyil.

PISA nəticələrinin təqdimatı üçün yeni standart lazımdır

Azərbaycan ictimaiyyətinə PISA haqqında məlumatların gələcəkdə belə cədvəldə təqdim edilməsi tövsiyyə edilir.
Göstərici 2018 2022 Dəyişmə Nəticə
Riyaziyyat üzrə orta bal X X +/− Real dinamika
Oxu üzrə orta bal X X +/− Real dinamika
Təbiət elmləri üzrə orta bal X X +/− Real dinamika
Səviyyə 2 və yuxarı X% X% +/− Minimum kompetensiya
Səviyyə 5–6 X% X% +/− Yüksək nəticə
Beynəlxalq reytinq X X +/− Nisbi mövqe
OECD ortalamasından fərq X X +/− Keyfiyyət məsafəsi

Belə təqdimat bütün manipulyasiya imkanlarını xeyli azaldar. Çünki bal, səriştə səviyyəsi və reytinq bir-birindən ayrı təqdim edilməlidir.

Bəs real artım varmı?

Hazırkı açıq OECD məlumatlarına əsasən, PISA 2022 üçün Bakı üzrə belə nəticə çıxarmaq daha elmi görünür: Azərbaycanın PISA üzrə “ümumi nəticə artımı” iddiası orta nəticələrin 2018–2022 trendi ilə birbaşa təsdiqlənmir. Əksinə, OECD rəsmi qeydi həmin dövrdə riyaziyyat, oxu və təbiət elmlərinin hər üçündə orta nəticələrin aşağı düşdüyünü bildirir. Bu, “Azərbaycanın nəticələrində heç bir müsbət dəyişiklik yoxdur” demək deyil. Müxtəlif alt-qruplarda, ayrı indikatorlarda və ya nisbi beynəlxalq müqayisələrdə müsbət dinamika mümkündür. Lakin belə olan halda təqdimatda konkret olaraq deyilməlidir ki, hansı indikator artıb, nə qədər artıb, hansı ölkələrlə müqayisədə artıb, bu dəyişiklik statistik cəhətdən əhəmiyyətlidirmi, eyni seçmə populyasiyası ilə müqayisə aparılıbmı?

Statistik optimizm təhsil islahatını əvəz edə bilməz

Azərbaycan təhsilinin ən böyük problemi nəticələrin aşağı olması və bəzən də həmin nəticələrin düzgün şərh edilməməsidir. Azərbaycanın təhsil siyasəti üçün əsas prinsip bu olmalıdır: pis nəticəni gizlətmək uğur yaratmır, amma onu düzgün izah etmək islahatın başlanğıcı ola bilər.

PISA-nın məqsədi ölkələri təbliğ etmək deyil. Onun əsas məqsədi təhsil sisteminin real güclü və zəif tərəflərini aşkar etmək, ölkələrə siqnal verməkdir. Əgər Azərbaycan şagirdlərinin riyazi savadlılığında, oxu bacarıqlarında, təbiət elmlərinin tətbiqində ciddi problemləri qalırsa, bu faktı qəbul etmək lazımdır. Daha sonra isə sual qoyulmalıdır ki, bu niyə belədir? Bu sualın cavabı kurikulumda, dərslikdə, müəllim hazırlığında, məktəb idarəetməsində, qiymətləndirmə sistemində, sosial bərabərsizlikdə, məktəbəqədər hazırlıqda, təhsil siyasətinin elmi əsaslarında, ümumi idarəetmədə axtarılmalıdır.

Azərbaycan təhsilinin bu günkü ehtiyacı “biz sürətlə inkişaf edirik” tipli statistik ritorika deyil. Təhsilimizin ehtiyacı dürüst diaqnoz, açıq məlumatlar, müqayisə edilə bilən göstəricilər və nəticəyönlü islahat strategiyasına malik olmaqdır.
Əsl uğur PISA cədvəlində bir neçə pillə irəli getmək deyil. Uğur, Azərbaycan məktəbindən məzun olan şagirdin oxuduğunu başa düşməsi, riyazi bilikləri real həyatda tətbiq etməsi, elmi məlumatı təhlil etməsi, xarici dildə informasiya ilə işləməsi, müstəqil və tənqidi düşünməsidir.

Təhsil sistemimiz “PISA cədvəlində hansı yerdəyik?” kimi suallarla yox, “məzunlarımız hansı problemi müstəqil həll edə bilir?” kimi suallara diqqət etməlidir. Məhz ikinci sualın cavabı yüksəldikdə, PISA nəticələrindəki yüksəliş də real və davamlı olacaq. Əks halda isə, rəqəmlər üzərində qurulan optimizm müəyyən müddət ictimai təsəvvür, uğur illüziyası yarada bilər, lakin insan kapitalının keyfiyyətini dəyişdirə bilməz. Bu halda rəqabətdə uduzacaq, innovasiyalar, startaplar, patentlər yarada bilməyəcək, innovativ iqtisadiyyat və rəqəmsal transformasiyada region ölkələrindən geri qalacağıq.

İlham Əhmədov