‘Fælles kritik: International rangingliste har metodiske mangler’ 
Artikel l 08.11.2018

Fælles kritik: International rangingliste har metodiske mangler

A
Aktuelt
Artikel l 08.11.2018
5 min
Times Higher Education har for nylig rangeret Roskilde Universitet på en lunken placering i deres nyeste udgivelse. Nu møder metoden bag ranglisten klar kritik fra flere fronter udefra.

Skrevet af

Magnus Jensing Hune

I slutningen af oktober skrev RUC Paper, at Roskilde Universitet indtager en beskeden placering mellem 601-800 på en rangliste over de bedste universiteter på globalt plan. Listen står engelske Times Higher Education bag, og den sammenligner mere end 1000 universiteter fra 136 lande ud fra fem temaer og 11 indikatorer.

Bjarne Graabech Sørensen, prorektor på Syddansk Universitet, har tidligere kaldt listen, hvor RUC er placeret dårligst af de danske universiteter, for noget ’metodemæssigt bras’.

Bogaktuel CBS-professor kritiserer generiske lister

Selvom Copenhagen Business School klarer sig markant bedre end RUC på Times Higher Education-listen med en placering blandt de 250 bedste, er CBS-professor Alan Irwin også kritisk over for metoden.

»Kritikken ved sådanne lister er, at de ikke tager hensyn til universiteternes unikke strategier og fakulteter. I stedet bliver alle målt efter de samme standarder,«siger Alan Irwin.

Irwin har tidligere på året udgivet bogen ’Hvad vil vi med universiteterne?’. Her argumenterer han sammen med Maja Horst for nytænkning blandt de danske universiteter, der ikke bør indrette sig inden for de samme rammer, som den hidtidige praksis har været. Denne vanetænkning beskylder han netop Times Higher Education for at praktisere:

»Universiteter kan eksempelvis opnå store resultater ved at have et tæt samarbejde med lokalbefolkninger, skabe jobs eller hjælpe udsatte studerende. Alt sammen noget, man ikke tager hensyn til på listen.«

»Vi har iværksat et analysearbejde, hvor vi i de kommende måneder vil se nærmere på Times Higher Education's kriterier.«

Prorektor på RUC, Peter Kjær

»Du får, hvad du måler«

Prorektor Bjarne Graabech Sørensen er ikke den eneste, der kritiserer ranglistens metodiske prioriteringer.

Også direktør for Danske Universiteter, Jesper Langergaard, gør opmærksom på, at ranglisten tilgodeser nogle universiteter frem for andre på baggrund af den metodiske opbygning, der ligger bag.

»Hver gang der bliver offentliggjort en ny liste, bliver universiteterne kimet ned af journalister, der vil vide, hvorfor universitetet er rykket frem eller tilbage. Umiddelbart er det bedste svar, at du får, hvad du måler,«siger Jesper Langergaard.

Kritikken af metoden på listen går blandt andet på, at den primært prioriterer størrelsen og universiteternes økonomiske muskler som afgørende faktorer for kvalitet:

»I Times Higher betyder økonomi meget. Herunder hvor stort forskningsbudgettet er for det enkelte universitet. Så det er ikke tilfældigt, at velhavende universiteter som Harvard, MIT og Stanford altid er med helt i toppen, da deres forskere råder over fem gange så mange penge som danske forskere«.

Tid til selvransagelse?

I kølvandet på listens offentliggørelse har Roskilde Universitet besluttet at igangsætte en ny analyse.

»Vi har iværksat et analysearbejde, hvor vi i de kommende måneder vil se nærmere på Times Higher Education’s kriterier og en række andre universiteters resultater på en lang række forskellige parametre – og i den sammenhæng identificere områder, hvor vi kan gøre en særlig indsats. Det handler jo også om at afløse de opstillede målepunkter og tærskelværdier,« skriver RUC’s prorektor Peter Kjær i en mail til RUC Paper.

Prorektoren kan i skrivende stund ikke uddybe, hvilke specifikke punkter undersøgelsen vil fokusere på. Peter Kjær har dog tidligere sagt, at man vil måle RUC mod 25 andre universiteter med en sammenlignelig baggrund. Herfra er ambitionen at forbedre RUC’s nuværende svagheder ud fra de ressourcer og den profil, universitetet besidder.

Beslutningen om at foretage en uafhængig undersøgelse giver god mening ifølge Jesper Langergaard:

»Jeg forstår godt, når RUC vurderer, at det giver mening for dem at sammenligne med universiteter, der har nogenlunde samme vilkår«.

Samtidig påpeger han vigtigheden af, at universiteter måler sig med andre og deltager i internationale ranglister. Selvom den metodiske tilgang ikke altid imødekommer det enkelte universitets profil, er ranglisterne nemlig et vigtigt værktøj til at tiltrække opmærksomhed udefra.

»Hvad enten vi vil det eller ej, så har ranglisterne betydning. En god placering kan for eksempel være en døråbner for forskningssamarbejde med internationale universiteter«, siger Jesper Langergaard.

THE bevidst om ’kontroversiel’ metode

Times Higher Education bygger deres undersøgelse på fem følgende temaer: Teaching, citations, research, international outlook og industry outcome. Disse bliver underbygget af i alt 11 indikatorer, der bliver tildelt forskellig vægt, så nogle bliver betragtet vigtigere end andre.

I ranglistens metodeafsnit gør man selv opmærksom på, at en del af tilgangen kan blive opfattet som

’kontroversiel’. Det gælder for indikatoren ’research income’, der bygger på de indtægter, et universitet får tildelt fra politisk side.

 Andre lister – andre problemer

I 2014 så en ny rangliste dagens lys. U-Multirank skulle med finansiel støtte fra EU-Kommissionen gøre op med det klassiske, snævre fokus på universiteters evne til at levere forskningsresultater ved at rangere universiteter på én samlet liste.

Fokus skulle i stedet rettes mod at måle uddannelsessteders kvalitet på baggrund af flere indikatorer. Samtidig ville man ikke vægte dem forskelligt internt. Kommissionær for Higher Education and Culture Androulla Vassiliou gjorde det klart i forbindelse med ranglistens dåb:

»U-Multirank vil hjælpe de deltagende uddannelsesinstitutioner med at kortlægge deres indsats og planlægge strategier fremover. Den vil også give studerende et bedre grundlag at træffe deres studievalg ud fra. Det er et nyt værktøj, der er mere aktuelt, fair og transparent for universiteterne.«

Siden da har listen dog mødt kritik for at være for dyr og bøvlet, da langt fra alle universiteter har midlerne til at give kvalificerede tal på samtlige indikatorer.

Roskilde Universitet mangler for eksempel data på værdierne, der falder under temaet ’Regional Engagement’.

Områder, hvor RUC scorer højt omfatter antallet af engelsksprogede bacheloruddannelser; antallet af forskningsudgivelser, der bliver udgivet i samarbejde med partnere i industrien, og antallet af kandidatstuderende, der får job i samme region efter endt uddannelse. Knap så godt går det, når det kommer til antallet af kandidatuddannelser, der bliver tilbudt på engelsk – ligesom antallet af studerende, der færdiggør deres kandidatuddannelse inden for den forventede tidsramme, er lav.

Roskilde Universitets profil på U-Multirank kan ses her.

Redaktionen har forsøgt at få en kommentar fra Times Higher Education, der står bag rankinglisten. De er ikke vendt tilbage inden redaktionens afslutning.