I dag svarer Styrelsen for Undervisning og Kvalitet pÄ kritik af ordblindetesten: https://www.folkeskolen.dk/ministeriet-derfor-kan-man-stole-paa-ordblindetesten/. Var man ikke utryg ved ministeriets hÄndtering af den test i forvejen, bliver man det i den grad. Jeg har skrevet nedenstÄende og lagt det op pÄ Folkeskolen, men det er helt ulÊseligt fordi alle linjedelinger er forsvundet. SÄ her er indlÊgget i nogenlunde lÊselig form:
Der er usikkerhed pÄ ordblindetesten som pÄ alle andre test. Den er ikke ubetydelig. Og den har meget konkrete konsekvenser for de bÞrn der bliver diagnosticeret sÄvel som for dem der ikke gÞr.
Det er meget alvorligt at ministeriet ikke har forstÄet disse ret basale ting. Det fÞlgende bliver noget teknisk, men det er nÞdvendigt for at forklare hvorfor dette er sÄ alvorligt.
âSammenligningerne viser, at der er en hĂžj sammenhĂŠng mellem ordblindetesten og de test, den er sammenlignet med. Det vil derfor vĂŠre yderst sjĂŠldent, at en elev i gul kategori i ordblindetesten vil score svarende til ordblind i en anden ordblindetest. I de tilfĂŠlde hvor det sker, bĂžr Ă„rsagen til de forskellige testresultater undersĂžges grundigt.â
Det er et lidt mĂŠrkeligt udsagn. NĂ„r man tager en test, sĂ„ vil der altid vĂŠre en eller anden usikkerhed pĂ„ resultatet â af mange grunde. Jo flere opgaver man besvarer, des mere prĂŠcist bliver resultatet, men det kan aldrig blive helt prĂŠcist.
Det var det som ministeriet indsÄ i forbindelse med nationale test for snart en del Är siden, og derfor indfÞrte de et konfidensinterval pÄ elevernes testresultater. Et sÄdan angiver ministeriet ikke pÄ ordblindetesten, og det lyder som om de ikke helt er klar over at der faktisk er en usikkerhed. Det mÄ vÊkke nogen undren, og mÄske ogsÄ utryghed ved om ministeriet har de rigtige kompetencer i denne sag.
Ministeriet bygger deres pĂ„stand om at det er âyderst sjĂŠldentâ at testen er forkert, pĂ„ en henvisning til âhĂžj sammenhĂŠngâ. Ministeriet tĂŠnker nok pĂ„ det tekniske rapport som blev udviklet i forbindelse med udviklingen af testen.
IfĂžlge den tekniske rapport var der i en pilotafprĂžvning en korrelation mellem et gennemsnit af en test med Elbros ordlister og en test der kaldes Find det der lyder som et ord (FDDLSEO-P) og sĂ„ de to deltest der ender med at indgĂ„ i testen pĂ„ mellem 0,62 og 0,73. Det kaldes, uden forklaring, for en âstĂŠrkâ sammenhĂŠng i den tekniske rapport, og af ministeriet her for en âhĂžj sammenhĂŠngâ. Det kan diskuteres om det er en stĂŠrk/hĂžj sammenhĂŠng. Der er mange statistikere der har forsĂžgt sig med at udforme tommelfingerregler â og nogle af dem vil kalde disse korrelationer for hĂžje, andre vil karakterisere dem som moderate. Men uanset hvad, sĂ„ siger korrelationen at det sammensatte mĂ„l og den nye test sandsynligvis mĂ„ler nogenlunde ens (om det er det rigtige de mĂ„ler, siger det ikke noget om).
Men den siger ikke noget som helst om hvorvidt det er âyderst sjĂŠldent, at en elev i gul kategori i ordblindetesten vil score svarende til ordblind i en anden ordblindetestâ. For at kunne udtale sig om det, skal man kende usikkerheden pĂ„ elevernes resultater. Og det er den tekniske rapport helt tavs om. Der stĂ„r ikke Ă©t ord om testens usikkerhed.
Men man kan faktisk beregne usikkerheden hvis man kender testens reliabilitet og standardafvigelsen af testen. Reliabiliteten har testudviklerne skrevet om i en engelsk artikel. Korrelationen mellem de to deltest som indgĂ„r i ordblindetesten, er pĂ„ mindst 0,67, noget som udviklerne pĂ„peger kan korrigeres med en âSpearman-Brownâ-metode sĂ„ reliabiliteten bliver mindst 0,80.
Standardafvigelsen pÄ resultaterne har udviklerne prÊsenteret i deres tekniske rapport. Den svinger mellem 12 og 15 afhÊngig af klassetrin/uddannelsesniveau. SÄ lad os sÊtte den til 13.
Formlen i den klassiske testteori, som udviklerne har valgt at bruge, lyder:
Standardfejl (dvs. usikkerheden) = Standardafvigelsen gange kvadratroden af 1 minus reliabiliteten.
Med de tal vi har fundet (13*sqrt(1-0,8)) giver det 5,8. Klassisk testteori kan ikke blive mere konkret â hvis udviklerne havde brugt mere moderne metoder ville de kunne identificere usikkerheden omkring de helt afgĂžrende steder pĂ„ skalaen, nemlig i overgangen mellem grĂžn og gul og mellem gul og rĂžd. Der kan standardfejlen godt vĂŠre mindre, sĂ„ lad os sige at standardfejlen er pĂ„ 5 point der.
NĂ„r man sĂ„ skal udregne hvor man kan forvente at eleven faktisk befinder sig pĂ„ skalaen â altsĂ„ det konfidensinterval som nu indgĂ„r i visningen af resultater fra nationale test, sĂ„ skal man gange usikkerheden med 2 (eller prĂŠcis 1,96) og trĂŠkke det fra og lĂŠgge det til det opnĂ„ede resultat for at fĂ„ et konfidensinterval der siger hvor eleven ligger med 95 procents sandsynlighed. Man skal altsĂ„ lĂŠgge 10 til og trĂŠkke 10 fra for at fĂ„ konfidensintervallet.
Nogle eksempler pÄ elever der har opnÄet et resultat:
63 point kan vĂŠre mellem 53 og 73
67 point kan vĂŠre mellem 57 og 77
72 point kan vĂŠre mellem 62 og 82
Det givne tal er et godt bud, det er klart. Men var testen taget dagen efter, eller havde den indeholdt nogle andre opgaver, sÄ kunne den samme elev sagtens have fÄet fx 8 point lavere resultat.
Med andre ord: En elev i tredje klasse der er testet til âgrĂžnâ fordi hun har fĂ„et 70 point (over 69 point), kan godt i virkeligheden kan vĂŠre ârĂždâ (under 62 point).
Og omvendt: En elev der med 61 point er testet til ârĂždâ, kan godt vĂŠre bĂ„de gul og grĂžn.
Elever der er mere end 10 point under skÊringspunktet kan vi godt vÊre ret sikre pÄ er ordblinde mÄlt pÄ denne skala, men resten mÄ vi vÊre varsomme med at udtale os alt for skrÄsikkert om.
Det lyder jo helt vildt, kan man mÄske tÊnke. Og ja, det er det. Men sÄdan er det med mange test: De er ikke ret sikre. Og det skal man tage ret alvorligt. I mine Þjne er det meget urovÊkkende at ministeriet tilsyneladende ikke forstÄr hvad de har med at gÞre.
Nu kunne man ogsÄ tÊnke: Det er forkert. Men sÄ synes jeg man skal slÄ op i den tekniske rapport (s. 32) og se hvor mange der fejlplaceres efter forskernes beregninger. De har sammenlignet elever der pÄ det pÄgÊldende tidspunkt var i tilbud, med hvor mange der ville blive testet ordblind ved forskellige tÊrskelvÊrdier. Ved de 8% ordblinde som var forskernes anbefaling, ville 57% der var i tilbud i 3. klasse, IKKE blive vurderet ordblinde med testen. I 9. klasse ville det vÊre 14%, i 7. 16%, i 5. klasse 36%. Og pÄ HHX/HF ville det vÊre 52%. Der vil naturligvis vÊre nogen der er i tilbud, uden at de faktisk er ordblinde. Men det gÊlder ikke dem alle sammen, og det gÊlder i Þvrigt ogsÄ i dag. Der vil vÊre mange der er identificeret som ordblinde, der slet ikke er det. Det gÄr begge veje.
SÄ nej, det er ikke kun i 3. klasse at testen er uacceptabelt usikker, det er pÄ alle klassetrin og uddannelsestrin at elever vil blive fejlplacerede.
Eller man kan kigge pĂ„ den fine undersĂžgelse som Folkeskolen prĂŠsenterede for nylig, der viste at det betaler sig at behandle for ordblindhed. De sammenlignede elever der lige netop havde og lige netop ikke havde fĂ„et diagnosen ordblind, og argumenterede â korrekt â for at der reelt ikke var forskel pĂ„ deres lĂŠsefĂŠrdigheder. Og pĂ„ den baggrund viste de at elever der havde fĂ„et diagnosen, klarede sig bedre, end dem der ikke havde. Det gĂžr en forskel at fĂ„ hjĂŠlp.
Det er derfor det er sÄ oprÞrende at dem der har det overordnede ansvar for disse test og hvordan de behandles, ikke forstÄr hvad de har med at gÞre.
Jeg hÄber at dette giver anledning til at testen underkastes en grundig undersÞgelse af statistiske og faglige eksperter, og at der pÄ den baggrund udarbejdes retningslinjer som er i overensstemmelse med de faktiske kendetegn ved testen. Og mÄske trÊnger testen som helhed til at blive revideret. For spÞrgsmÄlet er jo ogsÄ om den faktisk mÄler ordblindhed i dets bredde, eller om den er for snÊver i sit fokus.
Den tekniske rapport kan downloades herfra: https://researchprofiles.ku.dk/da/publications/teknisk-rapport-om-ordblindetesten/
Forskningsartiklen findes her: https://researchprofiles.ku.dk/da/publications/a-national-test-of-dyslexia/
Omtalen af undersĂžgelsen af betydning af at blive testet ordblind er her: https://www.folkeskolen.dk/banebrydende-forskning-ordblindediagnose-goer-en-stor-positiv-forskel-for-elever/