I dag svarer Styrelsen for Undervisning og Kvalitet på kritik af ordblindetesten: https://www.folkeskolen.dk/ministeriet-derfor-kan-man-stole-paa-ordblindetesten/. Var man ikke utryg ved ministeriets håndtering af den test i forvejen, bliver man det i den grad. Jeg har skrevet nedenstående og lagt det op på Folkeskolen, men det er helt ulæseligt fordi alle linjedelinger er forsvundet. Så her er indlægget i nogenlunde læselig form:
Der er usikkerhed på ordblindetesten som på alle andre test. Den er ikke ubetydelig. Og den har meget konkrete konsekvenser for de børn der bliver diagnosticeret såvel som for dem der ikke gør.
Det er meget alvorligt at ministeriet ikke har forstået disse ret basale ting. Det følgende bliver noget teknisk, men det er nødvendigt for at forklare hvorfor dette er så alvorligt.
”Sammenligningerne viser, at der er en høj sammenhæng mellem ordblindetesten og de test, den er sammenlignet med. Det vil derfor være yderst sjældent, at en elev i gul kategori i ordblindetesten vil score svarende til ordblind i en anden ordblindetest. I de tilfælde hvor det sker, bør årsagen til de forskellige testresultater undersøges grundigt.”
Det er et lidt mærkeligt udsagn. Når man tager en test, så vil der altid være en eller anden usikkerhed på resultatet – af mange grunde. Jo flere opgaver man besvarer, des mere præcist bliver resultatet, men det kan aldrig blive helt præcist.
Det var det som ministeriet indså i forbindelse med nationale test for snart en del år siden, og derfor indførte de et konfidensinterval på elevernes testresultater. Et sådan angiver ministeriet ikke på ordblindetesten, og det lyder som om de ikke helt er klar over at der faktisk er en usikkerhed. Det må vække nogen undren, og måske også utryghed ved om ministeriet har de rigtige kompetencer i denne sag.
Ministeriet bygger deres påstand om at det er ”yderst sjældent” at testen er forkert, på en henvisning til ”høj sammenhæng”. Ministeriet tænker nok på det tekniske rapport som blev udviklet i forbindelse med udviklingen af testen.
Ifølge den tekniske rapport var der i en pilotafprøvning en korrelation mellem et gennemsnit af en test med Elbros ordlister og en test der kaldes Find det der lyder som et ord (FDDLSEO-P) og så de to deltest der ender med at indgå i testen på mellem 0,62 og 0,73. Det kaldes, uden forklaring, for en ”stærk” sammenhæng i den tekniske rapport, og af ministeriet her for en ”høj sammenhæng”. Det kan diskuteres om det er en stærk/høj sammenhæng. Der er mange statistikere der har forsøgt sig med at udforme tommelfingerregler – og nogle af dem vil kalde disse korrelationer for høje, andre vil karakterisere dem som moderate. Men uanset hvad, så siger korrelationen at det sammensatte mål og den nye test sandsynligvis måler nogenlunde ens (om det er det rigtige de måler, siger det ikke noget om).
Men den siger ikke noget som helst om hvorvidt det er ”yderst sjældent, at en elev i gul kategori i ordblindetesten vil score svarende til ordblind i en anden ordblindetest”. For at kunne udtale sig om det, skal man kende usikkerheden på elevernes resultater. Og det er den tekniske rapport helt tavs om. Der står ikke ét ord om testens usikkerhed.
Men man kan faktisk beregne usikkerheden hvis man kender testens reliabilitet og standardafvigelsen af testen. Reliabiliteten har testudviklerne skrevet om i en engelsk artikel. Korrelationen mellem de to deltest som indgår i ordblindetesten, er på mindst 0,67, noget som udviklerne påpeger kan korrigeres med en ”Spearman-Brown”-metode så reliabiliteten bliver mindst 0,80.
Standardafvigelsen på resultaterne har udviklerne præsenteret i deres tekniske rapport. Den svinger mellem 12 og 15 afhængig af klassetrin/uddannelsesniveau. Så lad os sætte den til 13.
Formlen i den klassiske testteori, som udviklerne har valgt at bruge, lyder:
Standardfejl (dvs. usikkerheden) = Standardafvigelsen gange kvadratroden af 1 minus reliabiliteten.
Med de tal vi har fundet (13*sqrt(1-0,8)) giver det 5,8. Klassisk testteori kan ikke blive mere konkret – hvis udviklerne havde brugt mere moderne metoder ville de kunne identificere usikkerheden omkring de helt afgørende steder på skalaen, nemlig i overgangen mellem grøn og gul og mellem gul og rød. Der kan standardfejlen godt være mindre, så lad os sige at standardfejlen er på 5 point der.
Når man så skal udregne hvor man kan forvente at eleven faktisk befinder sig på skalaen – altså det konfidensinterval som nu indgår i visningen af resultater fra nationale test, så skal man gange usikkerheden med 2 (eller præcis 1,96) og trække det fra og lægge det til det opnåede resultat for at få et konfidensinterval der siger hvor eleven ligger med 95 procents sandsynlighed. Man skal altså lægge 10 til og trække 10 fra for at få konfidensintervallet.
Nogle eksempler på elever der har opnået et resultat:
63 point kan være mellem 53 og 73
67 point kan være mellem 57 og 77
72 point kan være mellem 62 og 82
Det givne tal er et godt bud, det er klart. Men var testen taget dagen efter, eller havde den indeholdt nogle andre opgaver, så kunne den samme elev sagtens have fået fx 8 point lavere resultat.
Med andre ord: En elev i tredje klasse der er testet til ”grøn” fordi hun har fået 70 point (over 69 point), kan godt i virkeligheden kan være ”rød” (under 62 point).
Og omvendt: En elev der med 61 point er testet til ”rød”, kan godt være både gul og grøn.
Elever der er mere end 10 point under skæringspunktet kan vi godt være ret sikre på er ordblinde målt på denne skala, men resten må vi være varsomme med at udtale os alt for skråsikkert om.
Det lyder jo helt vildt, kan man måske tænke. Og ja, det er det. Men sådan er det med mange test: De er ikke ret sikre. Og det skal man tage ret alvorligt. I mine øjne er det meget urovækkende at ministeriet tilsyneladende ikke forstår hvad de har med at gøre.
Nu kunne man også tænke: Det er forkert. Men så synes jeg man skal slå op i den tekniske rapport (s. 32) og se hvor mange der fejlplaceres efter forskernes beregninger. De har sammenlignet elever der på det pågældende tidspunkt var i tilbud, med hvor mange der ville blive testet ordblind ved forskellige tærskelværdier. Ved de 8% ordblinde som var forskernes anbefaling, ville 57% der var i tilbud i 3. klasse, IKKE blive vurderet ordblinde med testen. I 9. klasse ville det være 14%, i 7. 16%, i 5. klasse 36%. Og på HHX/HF ville det være 52%. Der vil naturligvis være nogen der er i tilbud, uden at de faktisk er ordblinde. Men det gælder ikke dem alle sammen, og det gælder i øvrigt også i dag. Der vil være mange der er identificeret som ordblinde, der slet ikke er det. Det går begge veje.
Så nej, det er ikke kun i 3. klasse at testen er uacceptabelt usikker, det er på alle klassetrin og uddannelsestrin at elever vil blive fejlplacerede.
Eller man kan kigge på den fine undersøgelse som Folkeskolen præsenterede for nylig, der viste at det betaler sig at behandle for ordblindhed. De sammenlignede elever der lige netop havde og lige netop ikke havde fået diagnosen ordblind, og argumenterede – korrekt – for at der reelt ikke var forskel på deres læsefærdigheder. Og på den baggrund viste de at elever der havde fået diagnosen, klarede sig bedre, end dem der ikke havde. Det gør en forskel at få hjælp.
Det er derfor det er så oprørende at dem der har det overordnede ansvar for disse test og hvordan de behandles, ikke forstår hvad de har med at gøre.
Jeg håber at dette giver anledning til at testen underkastes en grundig undersøgelse af statistiske og faglige eksperter, og at der på den baggrund udarbejdes retningslinjer som er i overensstemmelse med de faktiske kendetegn ved testen. Og måske trænger testen som helhed til at blive revideret. For spørgsmålet er jo også om den faktisk måler ordblindhed i dets bredde, eller om den er for snæver i sit fokus.
Den tekniske rapport kan downloades herfra: https://researchprofiles.ku.dk/da/publications/teknisk-rapport-om-ordblindetesten/
Forskningsartiklen findes her: https://researchprofiles.ku.dk/da/publications/a-national-test-of-dyslexia/
Omtalen af undersøgelsen af betydning af at blive testet ordblind er her: https://www.folkeskolen.dk/banebrydende-forskning-ordblindediagnose-goer-en-stor-positiv-forskel-for-elever/
