NARMAs Spesialinteressegruppe for forskningsevaluering
SIG ansvarlig: Tanja Strøm
Merittering og evaluering av forskning og forskere har betydelig innflytelse på forskeres karrierer og universiteters budsjetter: evaluer og vurder forskning på en ansvarsfull måte.
Nylige initiativer som the Declaration on Research Assessment (DORA) (2018), Science in Transition (2015) og andre initiativer de senere årene har vist at vi trenger nye belønningssystemer og insentiver for forskere, og vi bør involvere samfunnsaktører i forskning. Nåværende insentiver kombinert med hyperkonkurranse om begrensede midler har alvorlige negative effekter: mange publikasjoner av dårlig kvalitet og begrenset samfunnsmessig betydning; motvilje til å ta risiko og unngå komplekse, tverrfaglige problemer; systematisk undervurdering av utdanning og andre faglige oppgaver; veldig dårlige karriereperspektiver for unge forskere.
Forskere, forskningsfinansiører, forskningsorganisasjoner og makthavere begynner å diskutere andre mer nøyaktige, transparente og ansvarlige tilnærminger til forskningsevaluering.
Arbeidsgruppen The INORMS Research Evaluation Working Group ble opprettet på INORMS kongressen i 2018 for å se på hvordan man best kan sikre at evaluering av forskningen er meningsfull, ansvarlig og effektiv. To arbeidspakker skal leveres i 2020. Den første setter søkelyset på den voksende innflytelsen til universitetsrankingene til tross for disse rankingenes mangler. Den andre pakken vil være opplæringsmateriale rettet mot toppledere i UH-sektoren: hvordan bruk av fornuftige evalueringsmetoder og ansvarlig forskningsevaluering fører til bedre beslutninger.
Hvis du ønsker å bli med i nettverket, kan du abonnere på diskusjonslisten: the INORMS-RES-EVAL.
Artikkelen «Influensing the changing world of research evaluation» beskriver noen aktuelle utfordringer innen forskningsevaluering og hvordan INORMS Working Group vil adressere dem.
Forum på LinkedIn
- Det å identifisere nøkkelytelsesparametere for aktive forskere har alltid vært problematisk. Evaluering og sammenligning av forskere som arbeider i et gitt felt har blitt en nødvendighet siden disse konkurrerende forskerne kjemper om de samme begrensede ressursene, forfremmelsene, priser eller stipender. Uansett hvilken metode vi velger for å vurdere verdien av en forskers individuelle forskningsbidrag bør det være enkelt, rettferdig og gjennomsiktig.
- Bibliometri handler om publikasjoner og deres siteringer. Fagfeltet dukket opp fra informasjonsteknologi og nå refererer det vanligvis til de metodene som brukes for å studere og indeksere tekster og informasjon.
- Bibliometri og publiseringsanalyse er omstridte verktøy for å måle forskerkvalitet.
- We believe no single metric tells the whole story — you need a basket of metrics to make informed decisions.
Presentasjoner
The Annual Conference for Association of Research Managers and Administrators, ARMA, 2019
Dr Elizabeth Gadd – Research Policy Manager (Publications) at Loughborough University:«INORMS Research Evaluation Working Group: Meaningful, responsible & effective research evaluation.»
The Changing World of Research Evaluation – Ensuring our evaluation practices are fit for purpose. (Årskonferanse 2019)
- Dr Elizabeth Gadd: «Plan S: the beginning, middle or end of responsible research evaluation?»https://about.me/elizabeth.gadd See also this practical presentation with six success factors for implementing a responsible metrics policy
- Professor Stephen Curry: «The Declaration on Research Assessment (DORA): opening up the measures of success» https://www.imperial.ac.uk/people/s.curry
- Dr. Thed van Leeuwen/Prof.dr. Sarah De Rijcke: «Pushing the boundaries of the SEP: experimenting with new modes of research evaluation in the Dutch academic landscape». https://www.cwts.nl/people/sarahderijcke, https://www.cwts.nl/people/thedvanleeuwen
Bibliometri. (Årskonferansen 2017)
- Thed van Leeuwen, senior researcher, Centre for Science and Technology Studies, Leiden University:«Everything you always wanted to know about bibliometrics, but were afraid to ask».
- Gunnar Sivertsen, forsker 1, Forskning og innovasjon, NIFU og Ivar Ternsell Torgersen, seniorrådgiver, Seksjon for forskningstjenester, Cristin: «Nasjonal infrastruktur for bibliometri»
Bibliometri knyttet til Horisont2020-søknader. (Årskonferansen 2016)
Pernille Hamburger Grøngaard fra Aarhus universitet: «Bibliometri knyttet til H2020-søknader»
Hva er bibliometri og hvordan kan vi bruke bibliometri? (Årskonferansen 2015)
- Thed van Leeuwen, senior researcher, Centre for Science and Technology Studies, Leiden University: «Applying bibliometrics in research assessment and management … It’s complicated»
- Marianne Gauffriau, Københavns universitet: «Researcher! Reclaim your metrics. The use of bibliometric indicators in research applications.»
- Spesialrådgiver Stig Slipersæter, Norges Forskningsråd: «Forskningsrådets bruk av bibliometri og om arbeid med nasjonal infrastruktur for bibliometri»
- Daglig leder Katrine W. Bjerde, Cristin: «Planer for videreutvikling av CRIStin som verktøy for bibliometri»
Rapport fra workshop: Bibliometri som strategisk verktøy
NARMAs interessegruppe for bibliometri arrangerte sammen med Elsevier en workshop om bibliometri, Introduction to metrics and their use, 21. april 2016. Her kan du lese om denne.
Nedenfor finner du noen artikler, nettsider og informasjon som kan være av interesse
Dokumenter
EUA Briefing: Reflections on University Research Assessment. Key concepts, issues and actors
European Commission. Next-generation metrics: Responsible metrics and evaluation for open Science
University of Waterloo White paper on bibliometrics
Bibliometri knyttet til H2020-søknader – Presentasjon av Pernille Grønngaard, NARMA vårkonferanse 2016
Verktøy
Siteringer
Field-normalised journal metrics:
SNIP (Source Normalised Impact per Paper)
- Actual citations versus expected citations
- Calculated on a journal-by-journal basis
- Prestige journal metric
- Citations are weighted according to the citedness of the journal they come from
Field-weighted percentile measures:
- Percentage outputs in top X percent most cited in their field
- Mean Normalised Citation Scores (for individual papers or large entities)
Altmetrics
Visualiseringsverktøy
Rankings
Indikatorer
Annet
Oppdatert 05.08.2019