Paneelityöskentelyltä edellytetään kykyä vastata julkaisutoiminnan muutoksiin
Julkaisufoorumin arviointipaneelit arvioivat oman alansa tieteellisiä julkaisukanavia yhteisten arviointikriteerien perusteella. Paneelityö tarjoaa aitopaikan tieteellisen julkaisemisen muutoksiin. Kielitieteiden paneelin puheenjohtaja, professori Outi Merisalo pitää kehitystä kokonaisuutena myönteisenä, mutta muutokset ovat tuoneet mukanaan myös uusia haasteita.
Professori Outi Merisalo on kielitieteiden paneelin puheenjohtaja.
Julkaiseminen muuttuu ja arviointi sen mukana
Professori Outi Merisalo on nähnyt isoja muutoksia tieteellisessä julkaisemisessa viime vuosikymmenten aikana. Esimerkiksi sähköinen julkaiseminen on parantanut tutkimuksen saatavuutta. Myös tutkijoiden välinen kilpailu on koventunut ja paine julkaista lisääntynyt.
– Julkaisupaine on kasvattanut julkaisujen ja julkaisukanavien määrää. Tämä näkyy suoraan paneelien työssä, arvioitavaa on aikaisempaa enemmän, ja julkaisukentän kokonaisuuden hahmottaminen on entistä vaativampaa, kuvailee Merisalo.
Merkittävänä muutoksena Merisalo mainitsee myös muodollisen vertaisarvioinnin yleistymisen. Selkeät arviointikriteerit ja puolueettoman arvioinnin vaatimus ovat vahvistaneet tieteellisen julkaisemisen laatua. Järjestelmässä on silti omat haasteensa.
– Asiantuntevien ja tehtävään sitoutuvien arvioijien löytäminen voi olla vaikeaa. Arvioijapula saattaa pitkittää julkaisuprosesseja huomattavasti, Merisalo huomauttaa.
Luotettava arviointi vaatii pintaa syvemmälle menemistä
Paneelityön haastavimpana osana Merisalo pitää luotettavan tiedon saamista julkaisukanavien todellisista toimintatavoista. Kanavien verkkosivuilla kerrotaan nykyään aikaisempaa enemmän esimerkiksi vertaisarvioinnista, toimituskunnasta ja julkaisuperiaatteista. Arviointia ei kuitenkaan voi perustaa vain julkaisukanavan omaan kuvaukseen.
– Verkkosivujen lisäksi tarkastelemme kanavassa julkaistuja tekstejä ja hyödynnämme siellä julkaisseiden tutkijoiden kokemuksia. Kokemuksen myötä oppii tunnistamaan tietoja ja yksityiskohtia, joiden avulla julkaisukanavan toiminnasta voi muodostaa luotettavan kokonaiskuvan, Merisalo kertoo.
Erityisen vaikeita arvioitavia ovat julkaisukanavat, jotka eivät kerro toimintaperiaatteistaan avoimesti. Myös aivan uuden kanavan laatua ja kehitystä on hankala arvioida vain muutaman toimintavuoden perusteella.
– Pääsy Julkaisufoorumin tasolle 1 edellyttää, että julkaisukanavan toiminta on riittävän vakiintunutta ja sen käytännöistä on saatavilla tarpeeksi tietoa, Merisalo toteaa.
Englanti ei ole tieteen ainoa kieli
Merisalo korostaa, että julkaisukanavien arvioinnissa on tunnettava eri tieteenalojen julkaisukulttuurit. Esimerkiksi romaanisten ja klassisten kielten tutkimuksessa saksalla, ranskalla, espanjalla ja italialla on tärkeä asema tieteellisessä viestinnässä.
– Julkaisukanavan merkitystä ei voi arvioida vain englanninkielisen julkaisemisen perusteella. Arvioinnissa on huomioitava eri aloilla käytettävät kielet ja niiden merkitys tiedeyhteisölle, Merisalo painottaa.
Eri alojen tutkijoiden asiantuntemusta tarvitaan juuri tällaisten tieteenalakohtaisten erityispiirteiden tunnistamiseen.
Tekoäly tuo arviointiin uusia kysymyksiä
Julkaisufoorumin arviointikriteerejä on uudistettu useita kertoja. Merisalon mukaan nykyiset kriteerit toimivat kokonaisuutena hyvin. Niissä huomioidaan muun muassa vertaisarviointi, tutkimusetiikka, julkaisukanavan kansainvälisyys ja saatavuus sekä saalistajatoiminnan tunnusmerkit. Seuraavaksi arvioinnissa on ratkaistava tekoälyn käyttöön liittyviä kysymyksiä.
– Tekoälyn vaikutuksia ei vielä tunneta riittävästi. Tarvitsemme uusia keinoja sen käyttöön liittyvien haittojen tunnistamiseen ja rajoittamiseen, Merisalo arvioi.
Arvioinnin tulee säilyä tutkijayhteisön käsissä
Julkaisufoorumin keskeisenä vahvuutena Merisalo pitää sitä, että arviointi perustuu tutkijayhteisön asiantuntemukseen. Arvioinnissa tutkijoiden laadullinen asiantuntemus yhdistyy julkaisukanavia koskevaan määrälliseen tietoon. Paneelisihteeristö tukee arviointityötä ja antaa paneelien jäsenille mahdollisuuden keskittyä julkaisukanavien sisältöön, laatuun ja toimintatapoihin.
– Tutkijayhteisön asiantuntemusta tarvitaan myös julkaisutoiminnan muuttuessa. Julkaisufoorumi on pystynyt reagoimaan esimerkiksi saalistajakanavien yleistymiseen ja tukemaan vastuullisten arviointikäytäntöjen kehittämistä. Tutkijalähtöisellä arvioinnilla on siksi tärkeä tehtävä myös tulevaisuudessa, Merisalo painottaa.
