CoARA uudistaa arviointia

Tutkimuksen ja tutkijoiden arviointikäytäntöjä uudistetaan Suomessa ja kansainvälisesti. Työn tavoitteena on kehittää arviointia, joka tunnistaa tutkimuksen laadun, tutkijan työn monimuotoisuuden ja tutkimuksen yhteiskunnallisen vaikuttavuuden aiempaa paremmin. Keskeinen kansainvälinen arvioinnin uudistamista edistävä aloite on CoARA, joka kokoaa tutkimusorganisaatioita ja muita tutkimusyhteisön toimijoita kehittämään arviointikäytäntöjä yhteisten tavoitteiden pohjalta.

Miksi arviointia kehitetään?

Tutkimuksen tekeminen ja tutkijoiden työ ovat muuttuneet merkittävästi viime vuosikymmenten aikana. Tutkijan työ ei koostu pelkästään tutkimusjulkaisuista, vaan siihen voi kuulua myös esimerkiksi opetusta ja ohjausta, tutkimusyhteistyötä, avoimen tieteen edistämistä, tutkimusinfrastruktuurien kehittämistä tai yhteiskunnallista vuorovaikutusta.

Samalla on tunnistettu, että tutkimuksen laatua tai tutkijan osaamista ei voida arvioida luotettavasti pelkästään yksittäisten määrällisten mittareiden, kuten julkaisumäärien tai viittauslukujen, perusteella. Arviointia halutaan siksi monipuolistaa suuntaan, jossa laadullinen arviointi on keskeisessä asemassa ja määrällisiä mittareita käytetään sen tukena. Tavoitteena on arvioida tutkimusta ja tutkijoita aiempaa kokonaisvaltaisemmin sekä tunnistaa paremmin tutkimuksen erilaiset tuotokset, urapolut ja vaikuttavuus.

CoARA edistää vastuullista ja monipuolista arviointia

CoARA (Coalition for Advancing Research Assessment) on kansainvälinen yhteenliittymä, joka edistää tutkimuksen- ja tutkijanarvioinnin uudistamista. Se tukee vuonna 2022 julkaistun tutkimuksenarvioinnin uudistamista koskevan sopimuksen (Agreement on Reforming Research Assessment), eli niin sanotun CoARA-sopimuksen, toimeenpanoa ja kokoaa yhteen tutkimusorganisaatioita, tutkimusrahoittajia sekä muita tutkimusyhteisön toimijoita eri puolilta maailmaa.

CoARAn tavoitteena on vahvistaa arviointikäytäntöjä, joissa tunnistetaan tutkimustuotosten, tutkimusurien ja tutkijoiden osaamisen monimuotoisuus. Arvioinnin lähtökohtana on laadullinen vertaisarviointi, jota täydennetään määrällisillä mittareilla silloin, kun niiden käyttö on tarkoituksenmukaista ja vastuullista.

Vaikka CoARA määrittelee yhteiset tavoitteet arvioinnin uudistamiselle, jokainen organisaatio päättää itse, miten se toteuttaa niitä omassa toimintaympäristössään. Ratkaisut voivat vaihdella esimerkiksi organisaation tehtävien, tieteenalojen tai kansallisten käytäntöjen mukaan.

Mitä CoARA-sopimus sisältää?

Tutkimuksenarvioinnin uudistamista koskeva CoARA-sopimus kokoaa yhteen yhteiset periaatteet ja sitoumukset, joihin nojaten organisaatiot voivat kehittää omia arviointikäytäntöjään.

Sopimus sisältää:

yhteiset periaatteet arvioinnin uudistamiselle,
kymmenen sitoumusta arviointikäytäntöjen kehittämiseksi ja
aikataulun uudistuksen toimeenpanolle.

Sitoumuksista neljä ensimmäistä on niin sanottuja ydinsitoumuksia, jotka kohdistuvat suoraan arviointikäytäntöihin. Niitä täydentävät kuusi tukisitoumusta, jotka liittyvät esimerkiksi uudistuksen toimeenpanoon, arviointiprosessien kehittämiseen ja kokemusten jakamiseen.

CoARAn ydinsitoumukset

CoARAan sitoutuneet organisaatiot pyrkivät:

tunnistamaan tutkimusurien ja tutkimustuotosten monimuotoisuuden,
perustamaan arvioinnin ensisijaisesti laadulliseen vertaisarviointiin, jota täydennetään määrällisten mittareiden vastuullisella käytöllä,
vähentämään lehti- ja julkaisukohtaisten mittareiden, kuten Journal Impact Factorin (JIF) ja h-indeksin, epätarkoituksenmukaista käyttöä ja
välttämään organisaatiorankingeihin perustuvaa tutkimuksen arviointia.

Tukisitoumukset puolestaan koskevat muun muassa arviointikäytäntöjen kehittämistä, arviointiprosessien resursointia, ohjeistusta, viestintää, kokemusten jakamista sekä uudistusten seurantaa.

Mitä CoARAan liittyminen tarkoittaa?

CoARA-sopimuksen allekirjoittaminen on julkinen sitoumus kehittää tutkimuksenarviointia organisaation omassa toiminnassa. Sopimus ei ole juridisesti sitova, mutta allekirjoittanut organisaatio sitoutuu laatimaan vuoden kuluessa toimintasuunnitelman siitä, miten se toteuttaa sopimuksen tavoitteita. Lisäksi organisaatio arvioi omaa edistymistään viiden vuoden kuluttua.

Sopimuksen allekirjoittaneet organisaatiot voivat liittyä myös CoARAn jäseniksi. Jäsenyys mahdollistaa osallistumisen esimerkiksi CoARAn yleiskokouksiin, kansainvälisiin työryhmiin sekä arviointikäytäntöjä kehittäviin verkostoihin. Työryhmät tuottavat muun muassa suosituksia, raportteja ja käytännön työkaluja arviointiuudistuksen tueksi. CoARAn jäsenyys on maksuton, ja jäseneksi voi liittyä sopimuksen allekirjoittamisen jälkeen milloin tahansa. Jäseniksi voivat liittyä organisaatiot, eivät yksityishenkilöt.

Suomen kansallinen CoARA-osasto

Suomen kansallinen CoARA-osasto kokoaa yhteen suomalaisia tutkimusorganisaatioita ja muita tutkimusyhteisön toimijoita edistämään tutkimuksen- ja tutkijanarvioinnin kehittämistä. Osasto toimii kansallisena yhteistyöfoorumina, jossa jaetaan kokemuksia, kehitetään yhteisiä toimintatapoja ja tuetaan CoARA-sitoumusten toimeenpanoa Suomessa. Suomen kansallisen CoARA-osaston tavoitteena on tukea tutkimusyhteisöä kohti arviointikulttuuria, joka painottaa laadullista arviointia ja tunnistaa tutkimustyön monimuotoisuuden ja vaikuttavuuden.

Kansalliseen osastoon kuuluvat kaikki suomalaiset yliopistot ja ammattikorkeakoulut, osa tutkimuslaitoksista sekä muita tutkimusyhteisön organisaatioita. Toimintaan voivat osallistua sekä CoARA-sopimuksen allekirjoittaneet organisaatiot että muut tutkimuksen- ja tutkijanarvioinnin uudistamisesta kiinnostuneet organisaatiot.

Suomen kansallista CoARA-osastoa koordinoi Tieteellisten seurain valtuuskunta (TSV). TSV tukee suomalaisia organisaatioita CoARAan liittyvissä kysymyksissä, koordinoi kansallista yhteistyötä ja toimii linkkinä kansainväliseen CoARA-yhteisöön.

Katso myös CoARAn kansallisten osaston verkkosivu (englanniksi)