FAKTA om PISA

1. Der er i flere omtaler af bogen fremført, at PISA ikke kan bruges til noget fremadrettet.

Respons: Et vigtigt formål med PISA er at give en status for det danske skolevæsen sammenlignet med over 70 andre lande. Det kan politikere, kommuner, forskere, skoleledere, lærere mfl. bruge til at se på os selv og reflektere over, om vi er tilfredse med, hvad vi ser. PISA kan bruges til at sammenligne danske resultater over tid, og se hvad der forandrer sig, og hvad der virker. Vi kan diskutere det og evt. udvikle skolen, hvor vi finder det nødvendigt. Og PISA er ikke kun tørre testresultater og PISA-scorer. 
PISA rummer en kæmpe database med detaljerede oplysninger om eleverne og skolerne, som ele-vernes præstationer kan sammenholdes med. Dermed kan vi se, hvad der især kendetegner de lande, som vi gerne vil lade os inspirere af. Er der i Danmark mere støj og uro i timerne og pjækker eleverne mindre? Hvor ambitiøse og motiverede er eleverne, hvor meget feedback får de fra lærerne, hvordan styrer lærerne undervisningen og hvordan tages der beslutninger, som vedrører skolen? 
Det er bare et meget lille udsnit af de oplysninger om danske elever, der ligger i databasen, og som kan sammenlignes med andre lande. Disse data kan bruges til at blive klogere på os selv, og hvad vi fremadrettet kan lære af andre lande. For eksempel af Canada, som scorer højt i PISA, og som mange skolefolk fra Danmark har besøgt de seneste år for at lade sig inspirere. 
Databasen kan også sammen med supplerende sammenligninger af undervisningsprincipper i de lande, vi ønsker at sammenligne os med, inspirere til at tilpasse udenlandske principper og erfaringer til Danmark i forlængelse af dansk undervisningstradition.

2. Bogens forfattere fremfører, at elever med svage færdigheder betegnes som ”funktionelle analfabeter” i PISA.

Respons: Der benyttes på ingen måde udtrykket ”funktionelle analfabeter” i rapporter baseret på PISA-undersøgelsen.

PISA har opstillet en række præstationsniveauer ud fra de point, der er opnået, hvor det er beskrevet, hvad elever typisk kan på de forskellige niveauer. Disse præstationsniveauer går fra under niveau 1 til niveau 6. De elever, hvis resultat ligger under niveau 2, omtales som lavt præsterende elever. De elever, hvis resultat ligger på niveau 5 eller 6, omtales som højt præsterende elever. En nærmere beskrivelse af pointgivning og opdeling i niveauer er beskrevet i de bagvedliggende tekniske rapporter.

3. Bogens forfattere fremfører, at PISA betegner 17-18 procent af eleverne som funktionelle analfabeter. Dette er uden pædagogisk eller faglig dækning, mener de. De fortæller til Altinget, at de har fulgt PISAs lavest præsterende elever over en årrække, og 25 procent af dem havde 4,5 år efter PISA-kategoriseringen en studentereksamen.

Respons: Først og fremmest benyttes betegnelsen funktionelle analfabeter ikke i PISA-rapporterne, men derimod betegnelsen lavt præsterende. Dernæst er tallet 17-18 procent ikke korrekt. Ifølge PISA 2015 kan 15 procent af de danske elever karakteriseres som lavt præsterende i læsning. OECD-gennemsnittet er 20 procent.

Du finder en nærmere uddybning af, hvordan præstationsniveauerne i PISA er fastlagt i dokumentet ”Fakta om præstationsniveauerne i PISA”.

De unges skæbne er naturligvis ikke forudbestemt af social baggrund, skolepræstationer og færdigheder ved 15-års alderen. Men der er lavet flere undersøgelser baseret på tidligere PISA-rapporter, hvor der er fulgt op på elevernes uddannelses- og arbejdsmarkedssituation sidenhen. Og disse opfølgende undersøgelse viser, at der er en klar sammenhæng mellem læsefærdigheder i 15-års alderen, og hvor godt eleverne klarer sig senere.

Det drejer sig fx om en rapport, som Anders Rosdahl fra SFI har udgivet i 2013. Rosdahl finder, at blandt elever med de ringeste præstationer i læsning, har 32 % ingen uddannelse ud over grundskolen. Det tilsvarende tal for elever med de bedste præstationer er 1 %. Der er altså betydeligt lavere sandsynlighed for at gennemføre en ungdomsuddannelse og dermed senere klare sig godt på arbejdsmarkedet, jo dårligere eleverne klarer sig i læsning i PISA.

Når man ser på deltagelse på arbejdsmarkedet, er risikoen for at modtage overførselsindkomst klart stigende med faldende læsefærdigheder. Elever med lave præstationer har således en overrisiko i forhold til at klare sig dårligere senere hen, men at der – selvfølgelig og heldigvis – altid vil være en del blandt de elever, der har en relativ lav score i 15-års alderen, der klarer sig godt og får uddannelse og job siden hen.

4. En af bogens forfattere undrer sig i Altinget over, at man i international sammenhæng ikke finder en sammenhæng imellem investeringen i den enkelte elev og det udbytte, der måles med PISA i 9. klasse. I langt de fleste lande har omkostningerne pr. elev intet at gøre med præstationerne i PISA, påpeges det.

Respons: Det er et kendt internationalt resultat, at, så snart uddannelsesniveauet i et land er på et vist niveau, så kan der ikke påvises en sammenhæng mellem elevernes præstationer og udgifterne til skolen – uanset om præstationerne måles med PISA-scoren, karakterer eller lignende. Forklaringerne på denne manglende sammenhæng kan være mange, men ingen analyser peger på, at det er et udtryk for svaghed i PISAs metoder. (se i øvrigt referencerne nederst i denne artikel).

5. Forfatterne stiller sig kritiske over for, at man benytter den metode, der kaldes imputation. De kalder det snyd og bedrag. 

Respons: PISA har et hovedfag i hver cyklus. Hvis det er matematik, får alle eleverne testen i matematik. Derudover får halvdelen af eleverne – efter tilfældig udvælgelse – en test i læsning, og tilsvarende får halvdelen af eleverne en test i naturfag. Herefter benytter man den metode, der rent teknisk hedder multipel imputering, hvor man ved at bruge al information fra elevbesvarelserne beregner, hvordan den halvdel, der har besvaret læsetesten, forventes at ville have klaret naturfagsprøven – og omvendt. Disse beregnede data indgår i PISAs databank og i de videre beregninger af elevernes PISA-scorer.

Det er helt almindeligt at anvende multipel imputering som metode i stikprøveundersøgelser. Internationalt har multipel imputering været brugt de sidste 50 år i moderne statistik og surveyforskning. Multipel imputering er altså en ”gammel” og anerkendt metode, som i dag benyttes i langt de fleste stikprøveundersøgelser over hele verden. Multipel imputering er i dag indført som standardværktøjer i anerkendte og benyttede statistikprogrammer (fx SPSS, SAS, R eller STATA), som benyttes verden over i kvantitative analyser.

Der er tre grunde til, at man bruger mulitpel imputering i PISA – og i stikprøveundersøgelser generelt:

1. Det giver mulighed for at stille mange testspørgsmål og dermed dække flere områder af elevernes færdigheder.
2. Det reducerer den statistiske stikprøveusikkerhed. 
3. Det øger brugernes muligheder for at lave analyser og tilgå data.
4. Det er indlysende at udnytte så etablerede forskningsmetoder til at få et bedre billede af elevernes færdigheder. Ved at benytte mutipel imputering udnyttes al information fra datasættet på optimal vis, så elevernes færdigheder inden for flere fagområder – og flere dimensioner inden for disse fagområder – dækkes.
5. Du finder en grundigere beskrivelse af metoden multipel imputering i dokumentet ”Fakta om multipel imputering”.

Referencer

Burtless, G. (1996). Does Money Matter? The Effect of School Resources on Student Achievement and Adult Success.

Christensen et al. (2016). PISA 2015 Danske unge I en international sammenligning. KORA rapport.

Nannyonjo, H. (2007). Education inputs in Uganda: An analysis of factors influencing learning achievement in Grade six (No. 98). World Bank Publications.

Nicoletti, C., & Rabe, B. (2012). The effect of school resources on test scores in England. Institute for Economic and Social Research: https://www.iser.essex.ac.uk/research/publications/working-papers/iser/2012-13.pdf

OECD (2009) PISA 2009 Assessment Framework - Key competencies in reading, mathematics and science. OECD Publishing, Paris.

OECD (2016a), Low-Performing Students: Why They Fall Behind and How To Help Them Succeed, OECD Publishing, Paris. DOI: http://dx.doi.org/10.1787/9789264250246-en

OECD (2013), PISA 2012 Results: What Makes Schools Successful? Resources, Policies and Practices (Volume IV), PISA , OECD Publishing. http://www.oecd.org/pisa/keyfindings/pisa-2012-results-volume-IV.pdf

Rosdahl, A. (2013). Fra 15 til 29 år PISA 2000-elever i 2011/12. SFI rapport 14:13. København

Suryadarma, D. (2012). How corruption diminishes the effectiveness of public spending on education in Indonesia. Bulletin of Indonesian Economic Studies, 48(1), 85-100.

Wei, Y., Clifton, R. A., & Roberts, L. W. (2011). School resources and the academic achievement of Canadian students. Alberta Journal of Educational Research, 57(4), 460-478.

Yderligere information

Hans Hummelgaard, national projektleder for PISA Danmark, mail: hahu@vive.dk