Stol ikke på de tilfredse

Både den offentlige og den private sektor benytter i vid udstrækning tilfredshedsundersøgelser, hvor patienter, brugere eller kursusdeltagere udfylder et spørgeskema, hvori de svarer på en række spørgsmål om tilfredshed med det forløb, de har været igennem.

Men det er en problematisk evalueringsmetode: Tilfredshed kan skyldes mange faktorer, og der er ingen sikkerhed for, at fx de mest tilfredse kursusdeltagere rent faktisk også er dem, der har lært mest.

Mål for læring sammenlignet med tilfredshed

For at analysere, om tilfredshedsmålinger kan bruges til effektmålinger, er godt 3.500 kursister blevet testet før og efter kursusdeltagelse. De selv samme kursister udfyldte ligeledes et spørgeskema, hvori de tilkendegav deres tilfredshed med kurset generelt, med underviseren og 7-8 andre relevante parametre.

Sammenholder man forskellen i fagligt udbytte, målt som forskellen i før- og efter-testen, med et indeks for tilfredshed, findes en total mangel på sammenhæng. Konklusionen er entydigt, at tilfredshedsmålinger ikke siger noget om, hvad deltagerne har lært.

Resultaterne her bakkes op af tilsvarende konklusioner fra sundhedssektoren, hvor patienter udsat for lægefejl giver en samlet positiv evaluering af deres behandlingsforløb, hvis bare lægen har været god til at informere.

Vidtrækkende konsekvenser

Selvevalueringer er meget udbredte, og mange offentliggøres på internettet. De bruges som et vigtigt redskab i beslutningsprocesser blandt politikere og ledere, og det har derfor potentielt meget vidtrækkende konsekvenser, at de ikke nødvendigvis måler den effekt, man gerne vil måle, og som man ofte tror, man måler.

Resultaterne, præsenteret her, viser, at man skal være meget varsom med at bruge tilfredsheds-undersøgelser som eneste beslutningsgrundlag.