Miten tutkimuksen laatua pitäisi arvioida? REALISE etsii vastauksia

Tutkimuksen arviointiin ja sen uudistamiseen tarvitaan lisää tietoa

Tutkimuksen laatua arvioidaan esimerkiksi silloin, kun tutkijoita rekrytoidaan tai tutkimukselle myönnetään rahoitusta. Arviointitavat vaikuttavat siten tutkijoiden työhön ja tutkimuksen tekemisen edellytyksiin.

Tutkimuksen arviointia halutaan kehittää niin, että siinä huomioidaan tutkimuksen laatu ja erilaiset tutkimukselliset ansiot entistä monipuolisemmin. Uudistusten tueksi tarvitaan kuitenkin lisää tietoa siitä, millaiset arviointitavat toimivat ja mitkä tekijät vaikuttavat arvioinnin uudistusten etenemiseen.

REALISE kokoaa yhteen aiempaa tutkimusta ja tuottaa uutta tietoa arviointimenetelmistä. Hanke selvittää myös, miksi arvioinnin uudistaminen onnistuu joissakin organisaatioissa ja tieteenaloilla paremmin kuin toisissa.

– Se, mitä tutkimuksen arvioinnissa arvostetaan, vaikuttaa myös siihen, millaista tutkimusta kannattaa tehdä. Siksi arviointikäytäntöjen kehittäminen on tärkeää koko tiedeyhteisölle, sanoo REALISE-hankkeen vastuuhenkilö TSV:llä Janne Pölönen.

Hankkeen tulokset ja suositukset auttavat yliopistoja, tutkimusorganisaatioita ja rahoittajia kehittämään tutkimuksen arviointia tutkitun tiedon pohjalta.

Mitä julkaisukanava voi kertoa tutkimuksen laadusta?

Tutkimuksen arvioinnissa käytetään edelleen tietoa siitä, missä lehdissä tutkijat julkaisevat tutkimustaan. Kansainvälisesti yksi käytetyimmistä mittareista on tiedelehden vaikuttavuuskerroin (Journal Impact Factor, JIF), joka perustuu lehden artikkeleihin tehtyihin viittauksiin. Suomessa on kiinnitetty huomioita erityisesti JUFO-luokituksen käyttöön.

Tutkimuksen laatua ei voi arvioida pelkästään sen perusteella, missä tutkimus on julkaistu. Julkaisukanavatiedot ja tiedelehtien vaikuttavuuskertoimet antavat vain rajallisen kuvan yksittäisen tutkimuksen laadusta.

TSV selvittää REALISE-hankkeessa, miksi ja millä tavoin näitä tietoja silti käytetään erilaisissa tutkimuksen arvioinneissa ja millaisia vaihtoehtoja niiden käytölle voisi olla.

– Tiedot tutkimuksen julkaisukanavista voivat olla hyödyllisiä, mutta niitä ei pitäisi käyttää oikotienä tutkimuksen laadun arviointiin. Haluamme selvittää, millaisissa tilanteissa ja miten niitä voidaan käyttää vastuullisesti, Pölönen kertoo.

TSV tarkastelee esimerkiksi sitä, voisivatko kansalliset julkaisukanavarekisterit tarjota vaihtoehtoja vaikuttavuuskertoimen käytölle, ja mitä haasteita niiden vastuulliseen käyttöön liittyy.

Arviointikäytäntöjen muuttaminen ei kuitenkaan riipu vain siitä, millaisia uusia menetelmiä tai mittareita on tarjolla. TSV kartoittaa hankkeessa myös tekijöitä, jotka voivat edistää tai rajoittaa vastuullisen arvioinnin toteutumista eri organisaatioissa ja toimintaympäristöissä. Tällaisia voivat olla esimerkiksi tieteenaloittaiset ja alueelliset erot rahoitus- ja arviointijärjestelmissä ja toimintakulttuureissa.

Tavoitteena on ymmärtää paremmin, miksi samat arvioinnin uudistukset voivat toimia eri tavoin erilaisissa organisaatioissa, tieteenaloilla ja arviointitilanteissa.

Seuraa hankkeen etenemistä

REALISE käynnistyi syyskuussa 2026 ja jatkuu elokuuhun 2029. EU Horisontti Eurooppa -ohjelmasta rahoitetussa hankkeessa on mukana yhdeksän kumppania kahdeksasta maasta.

Hankkeen verkkosivuilla voit seurata tutkimuksen etenemistä ja tutustua tuleviin tuloksiin. Ne tarjoavat tietoa erityisesti tutkimusorganisaatioille, rahoittajille ja muille tutkimuksen arvioinnin kehittämisestä kiinnostuneille.

TSV kertoo REALISE-hankkeen etenemisestä ja tuloksista omilla verkkosivuillaan ja viestintäkanavissaan. Hankkeen teemoja voidaan käsitellä myös asiantuntijatilaisuuksissa ja koulutuksissa.