Af Kristian Serge Skov-Larsen
ksl@adm.au.dk
”Hvordan har sammenlægningerne af universiteter samt universiteter og sektorforskningsinstitutioner påvirket de danske universiteter?”
Blandt andet sådan spurgte analyseinstituttet Capacent og det seks mand store evalueringspanel udpeget af Videnskabsministeriet alle landets universitetsansatte i foråret som led i den store universitetsevaluering.
Men ifølge Rune Stubager, der er leder af metodesektionen på Institut for Statskundskab på Aarhus Universitet, skal ministeriet ikke forvente at få et brugbart svar på dét og en lang række andre spørgsmål i den store undersøgelse.
– Til sådan et spørgsmål svarer folk i bedste fald ud fra deres egne oplevelser på deres eget institut. For hvis man tager spørgsmålet for pålydende, er det et faktuelt spørgsmål, som måske kun rektor og ministeren har overblikket til at svare korrekt på. Så i virkeligheden burde vi måske alle sammen svare ”ved ikke”. Når folk svarer på spørgsmålet, kan man i stedet forestille sig, at de svarer ud fra deres holdninger, og det ser ikke ud til at være meningen med spørgsmålet, og sådan er det mange steder i undersøgelsen, forklarer han.
Afgørende detaljer
Rune Stubager indrømmer, at kritikken umiddelbart kan virke som sprogligt petitesserytteri, men understreger, at metodeforskningen tydeligt viser, at spørgsmålsformuleringerne, hjælpeteksterne og informationen til svarerne er helt afgørende for, om de indsamlede resultater kan bruges i den sidste ende.
– Folk udfylder måske nok skemaet, men det er ikke sikkert, at de svarer på det, som spørgeren regner med, og det gør det alt andet lige ret vanskeligt at tolke på. Ministeriet ender med det, man kalder ”validitetsproblemer”, altså at respondenterne svarer skævt og ud fra et forkert grundlag på et spørgsmål, uden at spørgeren har mulighed for at opdage det. Problemet er, at folk selv begynder at tolke spørgsmålene, og så ved man jo som spørger ikke, hvilket grundlag de svarer ud fra, forklarer han.
Ikke uklare
Det har ikke været muligt at få en kommentar fra evalueringspanelet inden for redaktionens deadline, men i Videnskabsministeriet forstår man ikke kritikken mod spørgeskemaet.
– Vi mener ikke, at spørgsmålene er så uklare, som der bliver lagt op til. Skemaet er blevet testet i fokusgrupper, og det er blevet godkendt af evalueringspanelet. Vi har heller ikke oplevet stor utilfredshed hos de universitetsansatte, der har modtaget og besvaret skemaet, og i øvrigt er skemaet kun én ud af flere kilder, der indgår i at belyse evalueringens temaer, siger specialkonsulent Pernille Meyn Milthers.
Hos Capacent siger seniorkonsulent Jakob Rathlev, at tanken bag spørgsmålene er, at forskerne både ud fra eget perspektiv og generelt skal forholde sig til forholdene efter universitetsreformen.
– Idéen har været at give folk mulighed for at komme med et billede af vilkårene, både som de personligt oplever dem, og som de generelt fornemmer dem i frokoststuen eller andre steder. Denne sondring giver nogle analytiske udfordringer, og det skal der tages højde for i fortolkningen, siger han.
Jakob Rathlev slår fast, at Capacent som konsulent på opgaven har haft fingrene helt nede i den praktiske udformning af undersøgelsen, men at evalueringspanelet i sagens natur har haft sidste ord omkring opbygning, formuleringer og hvilke spørgsmål der skulle med.
Men dermed ikke sagt, at vi synes, at det er et dårligt håndværk, for ellers ville vi heller ikke bakke op om det, siger han.
En stor del er ikke brugbart
Rune Stubager understreger, at skemaet også indeholder gode spørgsmål, og at ministeriet jo i sidste ende kan undlade at bruge svarene fra de dele af skemaet, som ikke fungerer.
– Der er gode ting i evalueringsskemaet, men jeg synes, det bærer præg af ikke at være ordentligt gennemarbejdet. Man kan altid diskutere et spørgeskema, men ministeriets evaluering har efter min mening så mange problemer, at det ikke kan bruge en stor del af svarene i undersøgelsen til noget som helst, i hvert tilfælde ikke til at sige noget faktuelt om universiteterne, siger han.
Læs mere om Universitetsevalueringen på Videnskabsministeriets hjemmeside
