Punkterede læringsmål

Det ulmer i store dele af uddannelsesforskningen. Den newzealandske uddannelsesguru John Hattie - måske uddannelsesverdenens mest markante ambassadør for evidenstænkning - er kommet under et internationalt forskerholds kritiske lup.

John Hattie er både berømt og berygtet for sin forskning, der gennem de seneste to årtier har inspireret talrige uddannelsesreformer - også i Danmark. Hans værk Visible Learning (på dansk: Synlig læring) er i årevis blevet promoveret og anvendt bredt i skolepolitik og praksis, fordi det angiveligt opsummerer, hvad der virker i undervisningen - baseret på såkaldte metaanalyser af tusindvis af videnskabelige studier.

Men nu viser et offentliggjort arbejdspapir med titlen Visible flaws, at selve det fundament, der går for at være evidens, er fejlbehæftet og til tider tenderer det vildledende. Arbejdspapiret peger på så alvorlige metodiske og statistiske problemer i Hatties forskningsoversigter, at det ikke blotsår tvivl om hans kernebegreb - synlig læring - men om hele grundlaget for hans forskning.

Aftryk på skolereformen

Der findes næppe mange i Uddannelsesdanmark, der ikke kender navnet John Hattie. Med sit banebrydende værk Visible Learning samlede Hattie resultaterne fra tusinder af studier om, hvad der virker i undervisningen.

Værket kortlagde over 100 såkaldte faktorer, der ifølge Hattie har betydning for elevernes læring -fra undervisningsformer og skoleledelse til elevens egen motivation.

Han rangerede herefter faktorerne for at vise, hvilke der havde størst positiv effekt. Ifølge Hatties forskningsoversigter fremmer tydelig undervisning og målrettet feedback eksempelvis elevernes læring i særlig grad. I den modsatte ende konkluderede Hattie, at læreruddannelse kun havde enmeget begrænset effekt på elevernes læring.

Med denne tilgang til undervisning og læring blev Hattie således også en af de fremmeste ambassadører for den såkaldte evidenstænkning - altså ideen om, at der skal være forskningsbaseret belæg for, hvad der virker i undervisningen. Og dermed også ideen om, at forskere kan levere indsigter om konkrete redskaber, som politikere og beslutningstagere kan bruge til at skabe mere effektive og målbare løsninger i velfærdssystemet, herunder skolesystemet. En nødvendig betingelse for at få udbytte af evidenstænkning er dog, at den bygger på solid evidens.

Hattie har også sat tydelige spor i Danmark. Da stregerne til folkeskolereformen blev tegnet, kiggede reformens mødre og fædre i høj grad i retning af Hatties forskning. Det gælder ikkemindst ideen om at gøre undervisningen mere læringsmålstyret, herunder for eksempel ideen om, at læreren opstiller læringsmålet, tilpasser undervisningen løbende, anvender feedbacksystematisk og støtter eleverne i selv at kunne vurdere deres egen læring.

Evidensgrundlaget vakler

Kritikken af Hatties arbejde er langtfra ny. Den er blandt andet kommet fra forskere, der med en mere kontekstuel og erfaringsbaseret tilgang til læring har advaret mod den reduktionisme, der ligger i at koge undervisningens kompleksitet ned til én samlet kvantificeret enhed. Andreforskere har sat spørgsmålstegn ved gennemsigtigheden, metodevaliditeten og kvaliteten af de studier, som Visible Learning bygger på. Men på grund af det enorme og komplekse datamateriale, der ligger til grund for Hatties analyser, har det indtil nu været vanskeligt for andre at gennemgå hans arbejde i dybden.

Det har et internationalt tværfagligt forskerhold nu sat sig for at gøre op med. Igennem næstenfire års intensivt arbejde har de gransket Hatties metoder, analyser og konklusioner. Resultatet er et omfattende arbejdspapir, hvor de vurderer, om den tidligere kritik blot er udtryk for enkelte fejlog videnskabsteoretisk uenighed - eller om der er tale om et mere grundlæggende og systemiskproblem.

Vi havner i sidste kategori. For arbejdspapiret konkluderer ganske opsigtsvækkende, at Hatties forskningsoversigt er så gennemgribende fejlbehæftet, at de præsenterede resultater ikke kan danne et solidt grundlag for de konklusioner, han drager.

Ifølge forskerne er der ikke blot tale om mindre fejl, der kan rettes med småjusteringer; problemerne er så dybt forankret i den metodiske tilgang, at det underminerer hele analysens troværdighed.

For eksempel peger de på, at mange af de analyser, Hattie bygger sine konklusioner på, slet ikkehandler om det samme fænomen, den samme målgruppe eller det samme udbytte, som hananvender dem til.

Et eksempel fra artiklen viser, hvordan han anvender et skriveprogram til at argumentere om effekten af et læseprogram.

Genstart anbefales

Denne metodiske sammenblanding og begrebslige udvanding betyder, at Hatties forskningsoversigter ifølge forskerne hviler på et løst evidensgrundlag.

Hvis resultaterne står til troende, er implikationerne alvorlige. For synlig læring har i årevis været brugt som beslutningsgrundlag for uddannelsespolitikken - både i Danmark og internationalt.

Det rejser det uundgåelige spørgsmål: Hvor mange reformer, strategier og undervisningsinitiativer hviler på en form for evidens, der slet ikke tåler en nærmere granskning?

Forskerne vurderer afslutningsvis, at selvom de tror på den overordnede idé om at samle evidensfor, hvad der påvirker elevers læring, er Hatties værk ikke et fundament, der kan arbejdes videre på.

Det omtalte arbejdspapir er endnu ikke fagfællebedømt og udgivet, så det ulmer stadig blot. Så må tiden vise, om arbejdspapiret kan accepteres som god forskning.

Problemerne er så dybt forankret i den metodiske tilgang, at det underminerer hele analysens troværdighed.