Evaluarea Națională 2015 – o analiză statistică necoafată

de Radu Borza

Acum, că s-a dus nebunia cu Evaluarea Naţională, este momentul perfect pentru a face o analiză amănunţită a examenului şi, de ce nu, a întregii proceduri. De ce abia acum? Printre altele, abia acum avem o anumită stabilitate (5 ani) în procedura de examinare, căci înainte se schimba la fiecare 2-3 ani. Motivul principal: mi-aş fi dorit ca analiza sau măcar datele brute să fie puse la dispoziţie de alţii (în principiu Ministerul Educaţiei sau Inspectoratele Școlare). Cum încă nu am descoperit o analiză asemănătoare, m-am pus pe treabă!

Metodologia de lucru nu a implicat prea mult lucruri inteligente de făcut: un simplu script scris în Perl a parcurs toate listele de candidaţi puse la dispoziţie de site-ul Ministerului Educaţiei şi a încărcat informaţiile într-o bază de date, iar apoi câteva interogări bine ţintite au generat listele de note. Mai întâi să vedem câteva lucruri care se văd cu ochiul liber, fără nici o analiză prea amănunţită!

Curiozităţi:

Cele mai mari diferenţe de note între română şi matematică (am exclus neprezentările, notate cu nota 0):

• 8,90: română: 1,00 – matematică: 9,90 (judeţul Timiş);
• 6,90: română: 2,80 – matematică: 9,70 (judeţul Harghita);
• 7,00: română: 9,40 – matematică: 2,40 (judeţul Vâlcea);
• 7,00: română: 9,25 – matematică: 2,25 (judeţul Vrancea);

Cele mai mari diferenţe dintre media 5-8 şi media la Evaluarea Naţională:

• -8,28: media EN: 1,42 – media 5-8: 9,70 (judeţul Alba);
• -7,49: media EN: 1,10 – media 5-8: 8,59 (judeţul Argeş);
• +1,87: media EN: 9,42 – media 5-8: 7,55 (judeţul Galaţi);
• +1,89: media EN: 8,15 – media 5-8: 6,26 (judeţul Mehedinţi);

Numărul de candidaţi care au fost notaţi, dar nu au reuşit să facă nici măcar un subpunct corect (note între 1,01 şi 1,49): 422 la matematică şi 699 la limba română.

Jumătate din elevii din acest an au media din clasele V-VIII mai mare de 8,77. În schimb, pentru a ajunge la jumătatea mediei probelor de la Evaluarea Naţională trebuie să cobori până la 6,93…

Totuşi, să trecem la treburi mai serioase!

Examenul la matematică

Deoarece subiectele din acest an au fost mai simple chiar decât cele din 2013, am început analiza cu proba de matematică, pentru că mă aşteptam ca notele să se înghesuie către zonele superioare.

Imaginea 1: Distribuţia notelor la matematică la Evaluarea Naţională 2015
Click pe imagine pentru a merge la varianta interactivă

Câteva observaţii imediate legate de această distribuţie:

1. distribuţia notelor nu seamănă absolut deloc cu ce mă aşteptam, adică o distribuţie normală (clopotul lui Gauss); vezi mai jos cum arată curba la un examen bine pregătit;
2. între 5 şi 10 notele sunt practic egal distribuite;
3. cea mai întâlnită notă este 10! A doua cea mai întâlnită notă este 5;
4. se observă câteva „beţe” (număr mare de elevi cu aceeaşi notă, în contrast cu notele alăturate) la notele întregi, adică aceste note au fost preferate de corectori. Acestea sunt excepţii ale distribuţiei, puţin probabil să fie cauzate de exerciţii, ci mai curând corectorii au ajustat notele către notele rotunde, fără a înţelege că elevii cu pricina primeau un ajutor nemeritat.
5. imediat înainte de nota 5 se observă o scădere bruscă a numărului de note, compensată de creşterea bruscă a băţului corespunzător notei 5. În mod evident, mulţi corectori au trăit cu impresia că este un concurs la care nota de trecere este 5;
6. practic notele au avut o granularitate de 0,05 (adică notele sunt din 0,05 în 0,05, nu din 0,01 în 0,01 aşa cum ar fi normal conform notării): doar trei note au ieşit din această paradigmă: un 2,92, un 5,33, şi un 7,12. Cînd un exerciţiu ca 10 ⋅ 2 – 20 = ? valorează 0,50 puncte, este greu să poţi departaja elevii. Nici relevanţa unui asemenea exerciţiu nu este clară;

Pentru comparaţie, distribuţia punctajelor la un examen tipic de matematică:

Examenul la limba română

După surpriza rezultatelor de la matematică, apetitul mi-a crescut, aşa că am purces să prelucrez datele şi pentru limba română.

Imaginea 2: Distribuţia notelor la limba română la Evaluarea Naţională 2015
Click pe imagine pentru a merge la varianta interactivă

Și aici se pot face rapid câteva observaţii:

1. curbele arată un pic mai bine decît la matematică, numărul notelor având măcar o tendinţă de scădere către nota 10;
2. aceleaşi „beţe” există şi aici (la notele rotunde);
3. scăderea imediat dinainte de nota 5 compensată de numărul mare de note de 5 este mult mai vizibilă aici;
4. cea mai întâlnită notă este 5,00 (spre deosebire de matematică);
5. practic notele au avut o granularitate de 0,05: există doar 20 de note „intermediare” (mai multe decât cele 3 de la matematică);

Este interesant faptul că compensarea notelor nu este tipic mioritică. Ceva similar se întâmplă şi în Polonia (diferenţa fiind că acela este un examen având un prag de promovare. În plus, distribuţia este foarte apropiată de cea teoretică):

Media claselor V-VIII

După analiza notelor propriu-zise din cadrul examinării, cu abateri grave faţă de ce spune teoria, dar care într-un fel erau predictibile din cauza gradului de dificultate (sau mai bine zis de uşurătate) a examenului, m-am gîndit să calculez corelaţia dintre media generală din gimnaziu şi notele la cele două examene. Cum notele la cele două probe păreau să aibă o corelaţie bună cu mediile claselor 5-8 (deşi media generală ar trebui să fie un bun predictor pentru notele de la examene, analiza precedentă mi-a cam tulburat siguranţa), şi anume 0,8, m-am simţit obligat să analizez şi distribuţia mediilor din gimnaziu. Cu adevărat şocant a fost rezultatul: Aici imediat se observă:

Imaginea 3: Distribuţia mediilor din clasele V-VIII pentru elevii participanţi la Evaluarea Naţională 2015
Click pe imagine pentru a merge la varianta interactivă

1. liniaritatea aproape perfectă a distribuţiei. Este greu de crezut că este doar o coincidenţă! Nici dacă Ministerul Educaţiei şi-ar fi propus o atare distribuţie nu cred că ar fi reuşit mai bine! Drept urmare, mi-am planificat în viitorul apropiat o analiză a mediilor generale pe ultimii 10 ani;
2. numărul exagerat de mare de medii de 10, care iese şi din tipicul unei eventuale distribuţii liniare dorite de minister. Am putea crede că excelenţa este la ea acasă în şcolile româneşti, însă crunta realitate ne contrazice: vezi ultimele teste PISA;
3. cea mai întâlnită medie generală în gimnazii este 10,00 (mai mult de dublu faţă de următoarea medie, care şi ea este foarte aproape de 10);

Pentru comparaţie, media celor două probe (se observă o liniaritate aproximativă până la 9,50):

Imaginea 4: Distribuţia mediei probelor la Evaluarea Naţională 2015

Concluzii

Ar fi multe de spus, însă câteva concluzii se impun de la sine:

• gimnaziul, prin notele cu care îi evaluează pe elevi (vezi imaginea 3), creează o imagine falsă a succesului educaţiei: sub nici o formă nu este posibil ca aproape jumătate dintre elevi să aibă media între 9 şi 10. În plus, chiar pentru această distribuţie, numărul mediilor de 10 este inconsistent cu restul datelor! Mai are vreun sens să existe un asemenea examen când mediile gimnaziale nu corespund cunoştinţelor elevilor, iar probele la evaluare sunt simple şi prost concepute?
• inflaţia notelor pare a fi o momeală cu care şcolile ademenesc părinţii. Când notele devin mai importante decât cunoştinţele, atunci ştim că sistemul educaţional a dat greş;
• este important de aflat cauza liniarităţii distribuţiei mediilor în gimnaziu (şi, neapărat, cauza inflaţiei mediilor de 10 curat);
• evaluarea profesorilor şi a şcolilor devine o necesitate: ar trebui să fie imposibil ca un elev cu media 9,70 în gimnaziu să obţină media 1,42 la Evaluarea Naţională. Cu atât mai importantă pare evaluarea naţională pe parcurs (clasele pare), introdusă de fostul ministru Daniel Funeriu, care în paralel cu evaluarea elevilor va aduce şi evaluarea profesorilor (şi până la urmă, a şcolilor!)
• probele de examen sunt prost concepute: granularitatea este de 5 ori mai mare decât ar trebui (0,05 în loc de 0,01). Asta se traduce fie prin faptul că sunt de 5 ori mai puţin subiecte decât trebuie, fie că sunt prea puţine elemente evaluabile în subiecte;
• faptul că probele sunt prost concepute mai este susţinut şi de distribuţia aproape uniformă a notelor între 5 şi 9,50. La ambele probe!
• numărul mare de note de 10 la matematică arată în plus faptul că subiectele au fost şi mult prea uşoare, nu numai prost concepute;
• singura explicaţie posibilă pentru nivelul scăzut al subiectelor ar fi încercarea de a ascunde dezastrul educaţional din gimnaziu;
• corectura superficială este demonstrată de încercarea de a ridica notele la 5 (la proba de română acest lucru este vizibil în imaginea 2) atât timp cât nu era necesară nota 5 pentru promovare şi de „beţele” care spun că notele întregi au fost preferate de corectori;
• notele de la simulările efectuate pe parcursul anului nu sunt, din păcate, disponibile (sau nu le-am descoperit eu). În fiecare an, de exemplu, la matematică subiectele sînt semnificativ mai grele decît cele de la examen. Comparativ, la limba română putem vorbi de subiecte de acelaşi nivel de dificultate;
• numărul mare de contestaţii depuse nu poate fi considerat o dovadă a faptului că s-a corectat superficial. Cu toate acestea, numărul relativ mare de contestaţii la care saltul notei a fost de peste un punct este o dovadă care nu poate fi trecută cu vederea prea uşor.