Open access -kustantajien evaluointi tieteellisen kirjaston näkökulmasta

Kirjoittajat

DOI: https://doi.org/10.23978/inf.70192

Avainsanat:

open access [http://www.yso.fi/onto/yso/p17649], laadunvarmistus [http://www.yso.fi/onto/yso/p2725], laadunarviointi [http://www.yso.fi/onto/yso/p25380], tieteellinen julkaisutoiminta [http://www.yso.fi/onto/yso/p10480], tieteelliset kirjastot [http://www.yso.fi/onto/yso/p19136], hankinta [http://www.yso.fi/onto/yso/p4509]

Abstrakti

In this article we will examine the question of how open access publishers should be evaluated from the point of view of library acquisition services or of a researcher who considers publishing in an OA journal. We will present a method for evaluation of the practices of OA publishers and the impact of their e-journals. Our method combines quantitative and qualitative analysis and can also be applied to evaluating singular OA journals.


Tässä artikkelissa tarkastelemme sitä, miten open access -julkaisijoita tulisi arvioida kirjastojen hankintapalvelujen tai avointa julkaisemista harkitsevan tutkijan näkökulmasta. Esittelemme kvantitatiiviseen ja kvalitatiiviseen arviointiin perustuvan menetelmän, jonka avulla voidaan arvioida OA-julkaisijan uskottavuutta ja sen julkaisemien lehtien vaikuttavuutta. Samaa laadunarviointimenetelmää voidaan soveltuvin osin käyttää myös yksittäisten open access -lehtien laadun arviointiin.

Numero
Vol 37 Nro 1 (2018)
Osasto
Katsaukset

Julkaistu

2018-04-20

Viittaaminen

Holopainen, M., Kuusela, M., & Roinila, M. (2018). Open access -kustantajien evaluointi tieteellisen kirjaston näkökulmasta. Informaatiotutkimus, 37(1). https://doi.org/10.23978/inf.70192

Copyright (c) 2018 Mika Holopainen, Marjo Kuusela, Markku Roinila

Creative Commons License

Tämä työ on lisensoitu Creative Commons Nimeä-EiKaupallinen-JaaSamoin 4.0 Kansainvälinen Julkinen -lisenssillä.

Avoin julkaiseminen (open access, OA) tieteellisen julkaisemisen mallina lisääntyy jatkuvasti. Asiaan on vaikuttanut esimerkiksi se, että monet tutkimuksen rahoittajat, kuten Suomen Akatemia ja EU:n Horizon 2020 -puiteohjelma, ovat alkaneet edellyttää tutkimustulosten avointa julkaisemista. Erityisesti tutkimusartikkeleiden osalta avoimuuden toteuttamiseen on useita vaihtoehtoisia tapoja: 1) julkaiseminen OA-lehdessä (kultainen/gold OA), 2) rinnakkaistallentaminen eli kustantajan salliman version tallennus avoimeen julkaisuarkistoon (vihreä/green OA) sekä 3) kustantajan maksumuurin takana olevan artikkelin ostaminen avoimeksi (hybridi OA).

Julkaiseminen OA-lehdessä on usein avoimuuden kannalta selkein ja houkuttelevin vaihtoehto, mutta se voi edellyttää ns. julkaisumaksua ( article-processing charge, APC), joka vaihtelee muutamista sadoista useisiin tuhansiin euroihin. On toisaalta muistettava, että 2/3 OA-lehdistä ei peri lainkaan julkaisumaksua. 1Vähitellen kasvavan ongelman ovat muodostaneet ns. petojulkaisijat ( predatory publishers), jotka pyrkivät rahastamaan APC-maksuilla piittaamatta vertaisarvioinnista ja tieteellisen julkaisemisen muista pelisäännöistä. Petojulkaisijat ottavat usein yhteyttä tutkijoihin esimerkiksi kongressien jälkeen ja tarjoutuvat julkaisemaan esitelmät lehdissään. Useimmiten nopea silmäys osoittaa, että julkaiseminen edellyttää kirjoittajamaksun maksamista ja hieman tarkempi tutkimus selvittää, että ao. lehti ei mahtipontisesta nimestään huolimatta ole tieteenalan vakiintunut lehti. Sen toimituskunta koostuu joko vieraista tai keksityistä nimistä tai tietoa ei löydy lainkaan. Hämmästyttävän monet tutkijat menevät halpaan, vaikka asiasta löytyy jo varsin paljon tietoa internetistä. Shenin ja Björkin mukaan vuonna 2014 oli noin 8000 aktiivista petojulkaisijan julkaisemaa lehteä, joissa julkaistiin arviolta 420 000 artikkelia [1]. Tämä on valitettavaa, sillä näissä ns. harmaissa lehdissä olevat artikkelit eivät löydy viitetietokannoista eikä niillä siksi ole vaikuttavuutta. Harmaissa lehdissä julkaisu asettaa myös tutkijan epäilyksenalaiseksi niin tutkimuksen arvioinnin kuin kollegoiden näkökulmasta ja mustaa työnantajankin mainetta [2].

OA-lehtien määrän kasvaessa laadunvaihtelu on suurta ja mukana on myös mainittuja petojulkaisijoita. Laadunarvioinnin tarve on siis ilmeinen. Kansainvälisessä OA-lehtien tietokannassa DOAJ:ssa ( Directory of Open Access Journals) on jo yli 11 000 lehtinimekettä. Tietokannan sisältämien lehtien määrä on jatkanut voimakasta kasvua viime vuosina. Tämä kehitys on jatkunut, vaikka DOAJ tiukensi hyväksymiskriteereitään huomattavasti vuonna 2014 [3] [4]. Nykyisin DOAJ tarjoaa myös listan parhaista käytännöistä OA-lehdissä sekä listaukset lehdistä, jotka on lisätty tai poistettu tietokannasta; jälkimmäiset eivät eri syistä ole täyttäneet asetettuja kriteereitä. 2OA-lehtien laadunarvioinnin yksittäisistä toimijoista tunnetuin on Jeffrey Beall, jonka Beall’s listsisälsi epäilyttävien OA-lehtien ja -kustantajien listauksen. Kaupallisena palveluna on nykyisin saatavilla Cabell’s Blacklist/Whitelist, jossa DOAJ:n tapaan arvioidaan tietyillä kriteereillä OA-lehtien ja -kustantajien laatua ja tehdään listauksia sen perusteella täyttyvätkö palvelun asettamat kriteerit vai eivät. Kriteereihin ja niiden täyttymiseen liittyy kuitenkin aina subjektiivista arviointia ja sen tuottamia haasteita. Palaamme edellä mainittuihin palveluihin vielä myöhemmin tässä artikkelissa.

Rinnakkaistallennus tarjoaa maksuttoman väylän avoimuuteen, mutta rajoitteena avoimuudelle ovat kustantajan asettamat ehdot, esimerkiksi rinnakkaistallenteen julkaisuviive sekä käyttöä rajoittavat lisenssiehdot. Rinnakkaistallennuksen yleistymistä on tutkimusten perusteella vaikea arvioida, jos halutaan selvittää vain rinnakkaistallenteena saatavilla olevien artikkeleiden kasvua. Tähän liittyy mm. se, että julkaisuarkistoihin tallennetaan myös OA-lehdissä julkaistuja artikkeleita, lisäksi yliopistoilla voi olla erilaisia tapoja raportoida rinnakkaistallennettuja tai muuten avoimesti saatavilla olevia julkaisuja  [5].

Vaikuttaa siltä, että OA-lehtien ja -kustantajien arviointia varten ei ole toistaiseksi olemassa toimijaa, instituutiota tai välinettä, joka yksistään riittäisi kaikkiin arvioinnin tarpeisiin. Toisaalta on monia toimijoita ja organisaatioita, joiden tehtäviin arvioiminen tai arvioimisen ohjeistaminen sisältyy. Esimerkiksi yliopistokirjastoissa tehdään tällaista arviointityötä ja monet niistä ovat julkaisseet verkkosivuillaan ohjeistusta asiassa. Ohjeistamisessa kyse on usein lyhyessä muodossa esitetyistä tarkistuslistoista, seikoista joihin tutkijan kannattaa kiinnittää huomiota OA-lehtien suhteen. 3Asiaan liittyviä kriteerejä ja näkökulmia voidaan löytää myös mm. Butlerin [6], Clarkin ja Smithin [7], Eklundin [2]sekä Hansotin, Lagendorfin ja Murphyn [8]artikkeleista sekä Open Access Scholarly Publisher’s Associationin(OASPA) verkkosivuilta. 4Näistä lähteistä Hurme ja Crawford [9]ovat puolestaan koostaneet yksityiskohtaisemman tarkistuslistan, josta voidaan tiivistää seuraavat pääkohdat: 1) Kustantajan tai julkaisijan maineen selvittäminen, 2) lehden verkkosivujen tarjoaman informaation analysointi ja 3) lehden indeksoituminen tunnetuimpiin palveluihin sekä 4) lehden toimintatavat heidän lähestyessään tutkijoita. Osittain näitä samoja kriteerejä sovelletaan ja kuvataan tarkemmin tässä artikkelissa, kun esittelemme menetelmää OA-kustantajien arvioimiseksi.

OA-lehtien valinnassa tutkija voi käyttää hyväksi kansallisesti toteutettuja arviointeja ja niihin liittyviä palveluita, kuten kotimaista Julkaisufoorumin (Jufo) tuottamaa hakukäyttöliittymää. 5Siinä voi hakea Julkaisufoorumin eri tasoille hyväksyttyjä lehtiä ja sarjoja, lisäksi haussa voi tehdä erilaisia rajauksia, jolloin hakutuloksiin saa vaikkapa DOAJ:n tietokannassa esiintyvät OA-lehdet. Julkaisufoorumin arviointipaneelit ovat kuitenkin toistaiseksi hyväksyneet suhteellisen vähän OA-lehtiä, ja erityisen vähän tasoille 2–3, jolloin hakukäyttöliittymän hyödyntäminen OA-lehtien valinnassa ei välttämättä tuota sopivia vaihtoehtoja ainakaan kaikilla tieteenaloilla. Tässä artikkelissa jäljempänä esitettyä evaluointimenetelmää voi soveltuvin osin käyttää myös yksittäisten OA-lehtien laadun arviointiin.

Open Access osana aineistojen hankintaa ja tietoaineistotyötä

Tieteellisissä kirjastoissa aineistojen lisensiointi ja hankintatyö on muuttunut selvästi open access -elementin tultua mukaan tilauksiin. Esimerkiksi Helsingin yliopiston kirjasto tilaa lehtipaketteja sekä FinElib-konsortion kautta että itse suoraan julkaisijalta tai kustantajalta. Isot ja kalliit lehtipaketit on arvioitava sisällöllisesti. On kiinnitettävä huomiota lehtien laatuun, määrään ja tarpeellisuuteen kunkin organisaation tutkijoille. Käyttötilastojen lisäksi on tutkittava kuinka paljon ja missä lehdissä oman organisaation tutkijat julkaisevat. Lehtipakettien hinnoittelu ja alennukset ovat sidoksissa siihen, paljonko organisaation tutkijat ovat maksaneet lehtipaketteihin kuuluvien lehtien julkaisumaksuja (APC). OA-elementti voi olla tilauksissa mukana eri tavoin: se voi olla alennus tilausmaksusta, erillisinä vouchereina toteutettu tai upotettuna tilaushintaan, tai vaikka erillisenä deposit-maksuosuutena.

Kirjastot siis analysoivat enenevissä määrin myös oman organisaationsa tutkijoiden julkaisemisen trendejä, määriä ja tapoja. Ne myös arvioivat ja seuraavat julkaisukanavien ja lehtien laatua. Se, että julkaisemisen kulut ovat tulleet mukaan aineistohankintatyöhön, tarkoittaa myös tarkkaa avoimen julkaisemisen kulujen seurantaa: lehtipakettitilaukset ovat kalliita ja määrärahat ovat rajalliset. Kirjastot hankkivat isojen lehtipakettien lisäksi myös pienempiä lehtipaketteja ja yksittäisiä lehtiäkin.

Hankinnassa on otettava huomioon myös tutkijayhteisön aktiivisuus tiettyjen kustantajien lehdissä. Jos siis esimerkiksi jonkin yliopiston tutkijat julkaisevat aktiivisesti tietyn kustantajan lehdissä, on ao. yliopiston kirjaston perusteltua koettaa neuvotella sopimus tämän kustantajan kanssa siten, että siihen sisältyisi alennus julkaisumaksuista. Monet kustantajat, seurat ja julkaisijat tarjoavat myös institutionaalisia OA-jäsenyysmalleja, joihin kirjasto oman yliopistonsa edustajana voi mennä mukaan. Tätä kautta kirjasto voi myös rohkaista tutkijoita täysin avoimeen julkaisemiseen. Tällaisen sopimuksen neuvottelun taustaksi kirjastossa tehdään sekä sopimuksen sisältämien lehtien laadun että kulujen arviointia, sillä open access -elementin mukaantulo on monimutkaistanut tilausten kustannusten arvioinnin lisäksi myös budjetointia.

Viime vuosien aikana myös monet puhtaasti gold OA-kustantajat ovat luoneet ja tarjonneet erilaisia jäsenyysmalleja, joiden evaluointi on kirjastolle uutta työtä. Tässä mallissa kirjasto ei tilaa lehtiä, kuten yllä, vaan ne ovat vapaasti verkossa luettavissa. Sen sijaan kustantajan lehdessä julkaiseva tutkija maksaa avoimesta julkaisemisesta julkaisumaksun ja kirjasto voi halutessaan mennä mukaan maksulliseen jäsenyysohjelmaan ( institutional membership), jonka puitteissa instituution kirjoittajat saavat alennuksia APC-maksusta. Ennen jäsenyyspäätöstä kirjasto selvittää paljonko ko. kustantajalle organisaation tutkijat ovat maksaneet julkaisumaksuja, evaluoi kustantajan lehdet ja analysoi organisaation tutkijoiden julkaisuaktiivisuuden.

Tutkijat ja kirjastojen neuvottelukunnat ovat toivoneet, että kirjastoista saa tarvittaessa apua OA-lehtien ja -kustantajien arviointiin. Kirjastot toivovatkin tutkijoilta ehdotuksia OA-kustantajista ja -lehdistä, joiden jäsenyysohjelmaan olisi järkevää mennä mukaan. Toisaalta myös tutkijoiden ehdotukset voivat olla laadullisen arvioinnin tarpeessa. Tämä johtuu siitä, että tutkijan tarve jollekin julkaisulle voi johtua henkilökohtaisista syistä (esimerkiksi jäsenyys jonkin lehden toimituskunnassa tai oman artikkelin ilmestyminen jossakin lehdessä) tai hän ei ole tietoinen OA-julkaisijan kyseenalaisesta maineesta. Siksi kirjastohenkilökunnan on arvioitava julkaisijan laadukkuus ja myös seurattava ao. kustantajien toimintaa jatkuvasti.

Kirjastojen on kuitenkin huomioitava taloudelliset seikat siten, että julkaisuaktiivisuuden on oltava riittävä, jotta jäsenyysohjelmassa on taloudellisesti kannattavaa olla mukana. Ongelmatontahan arviointi ei ole, sillä avoimen julkaisemisen kenttä on kovin elävä, uusia kustantajia ja lehtiä syntyy ja tutkijat liikkuvat ja vaihtavat julkaisukanavaa. Aiempi julkaisuaktiivisuus ei välttämättä ennakoi tulevaa aktiivisuutta.

Vielä on mainittava muutama tapaus, jossa aineiston (lehden / tietokannan / julkaisijan) laadunarviointi ja vapaa saatavuus laskeutuvat kirjastolaisen työpöydälle tarkasteltavaksi. Vapaasti verkossa olevat aineistot on evaluoitava, kun vertaillaan ja hankitaan lisensioitavia aineistoja ja tehdään valintaa. Esimerkkinä voi mainita tutkijalähtöisen ja -vetoisen filosofian alan avoimen julkaisuarkiston PhilPapers, josta kirjastojen toivotaan maksavan vuosittaista tukimaksua sen laadukkaan toiminnan turvaamiseksi, vaihtoehtona kaupallisen kustantajan toimittamalle alan tietokannalle. Kirjastojen laadunarvioinnissa tuleekin huomioida myös pitkäaikaiskäytön ja aineiston pysyvyyden näkökulmat.

Lisäksi käyttötilastojen analyysejä tehdessä on seurattava kuinka paljon käyttöä kohdistuu kustantajan alustalla oleviin avoimiin aineistoihin suhteessa tilausmaksullisiin aineistoihin. Esimerkiksi Helsingin yliopiston kirjaston vuoden 2017 käyttötilastossa lähes puolet De Gruyterin lehtien käytöstä HY:n IP-alueelta kohdistui Open Access -lehtiin. Tämä tietenkin otetaan huomioon kun lehtiä uusitaan ja DeGruyterin lehtien tilauskantaa evaluoidaan.

Menetelmä open access -kustantajien arvioimiseksi 

Helsingin yliopiston kirjaston Avoimen tieteen palvelukeskus -hankkeen piirissä on kehitetty arviointimenetelmä, jolla voidaan suhteellisen pätevästi evaluoida OA-kustantajia ja eräin rajoituksin myös yksittäisiä open access -lehtiä. Se perustuu kvantitatiivisen (bibliometrisen) ja kvalitatiivisen (subjektiivinen laadunarviointi) analyysin yhdistelmään, ja siinä pyritään arvioimaan kustantajan toimintaa sekä sen käytäntöjä että tiedeyhteisön kustantajaan kohdistuvia reaktioita tarkastelemalla. Menetelmän soveltaminen vaatii sekä bibliometrisiä taitoja että näkemystä julkaisukäytännöistä, kuten vertaisarviointimenettelyistä ja open access -julkaisukulttuurista.

Arviointimenetelmämme koostuu seuraavista vaiheista: 1) kustantajaa koskevien perusfaktojen selvittäminen 2) alustavan kvalitatiivisen analyysin tekeminen 3) bibliometrisen analyysin tekeminen 4) kustantajaa koskevan likapyykin tutkiminen 5) asiantuntijalausuntojen pyytäminen ja 6) yhteenvedon tekeminen.

Faktojen selvittäminen

Ensiksi on selvitettävä kustantajan/lehden tausta, sijainti ja toimintaperiaatteet. Mikäli kyseessä on legitiimi kustantaja, nämä tiedot löytyvät yleensä kustantajan tai lehden verkkosivulta sekä mahdollisesti asiaa koskevasta wikisivusta (jonka sisältöön on toki omaksuttava kriittinen asenne). Selvitettäviä asioita ovat esimerkiksi kustantajan julkaisu- tai toimintahistoria, yhtiön sijainti, yhtiön omistuspohja, kustannettavat lehdet ja jäsenyys kustantajien kattojärjestö OASPA:ssa ja muissa kattojärjestöissä. Voidaan myös tutkia löytyvätkö kustantajan lehdet DOAJ-tietokannasta. Hankintaa varten on myös hyvä selvittää tarjolla olevat lehtipakettien jäsenyyksiin liittyvät institutionaaliset maksujärjestelyt, mahdolliset alennukset julkaisumaksuista ja kustantajan mahdollisesti kehittämät innovatiiviset julkaisu- ja vertaisarviointimenetelmät. Tutkittavan lehden kohdalla on selvitettävä toimittajan ja toimituskunnan kokoonpano. Vähintään on hyvä varmistaa, että kustannettavilla lehdillä on ISSN-tunnus [2]. Avointa tiedettä silmälläpitäen on hyvä selvittää millä tekijänoikeuslisenssillä lehtien artikkelit jaetaan.

Nämä tiedot tarjoavat peruslähtökohdat subjektiiviselle analyysille, sillä kustantajan luotettavuus pohjautuu pitkälti asialliseen toimintakulttuuriin ja valmiuteen toimia läpinäkyvästi. Mikäli kustantajan toiminta on asianmukaista ja ajantasaista ja sen talous vaikuttaa vakaalta ja yhtiön kehitys noususuuntaiselta (kustannettavien lehtien määrä lisääntyy tasaisesti), sitä voidaan pitää taloudellisessa katsantokannassa luotettavana ja toiminnassaan ajanmukaisena.

Alustava kvalitatiivinen analyysi

Perusfaktojen selvittämisen jälkeen voidaan syventää analyysia ja keskittyä kustantajan tai lehden toimintatapojen tarkasteluun. Tämä osuus on väistämättä subjektiivinen, sillä siihen sisältyy sen arvioiminen, vaikuttaako vertaisarviointi kustantajan lehdissä yleisesti ottaen luotettavalta ja ovatko lehden/edustavimpien lehtien päätoimittajat ja toimituskunnat alansa tunnettuja tutkijoita. Suurempien kustantajien kohdalla täytyy yleensä tyytyä satunnaisotantaan, sillä kustannettavia lehtiä voi olla kymmeniä. Pistokokeisiin on kuitenkin valittava riittävän monta lehteä kokonaiskuvan saamiseksi. Lisäksi, jos on mahdollista selvittää kustantajan "lippulaivalehdet" (esim. kustantajan sivulta), ne on hyvä ottaa mukaan vertailuun - monesti kustantajalla on kustannettavanaan eri kehitysvaiheissa olevia lehtiä, joista jotkut voivat olla jo OA-lehdiksi siirtyneitä vakiintuneita alan lehtiä, kun taas toiset saattavat olla vasta perustettuja.

Läpinäkyvyyden tarkasteluun kuuluu myös APC-maksujen selkeä esitys verkkosivuilla ja niiden suuruuden määrä suhteessa alan keskitasoon. Toisin sanoen on tarkasteltava sitä, onko kustantajan ensisijainen päämäärä kustantaa hyvää lehteä vai kerätä rahaa tutkijoilta ja heidän taustaorganisaatioiltaan. Ahkera sähköpostispämmi ja artikkelien kalastus kuuluu myös tähän aihepiiriin - hyvien lehtien kustantajien ei tarvitse houkutella artikkeleita, heille tarjotaan niitä. On kuitenkin huomattava, että aloittelevien kustantajien on houkuteltava käsikirjoituksia kunnes tieto uudesta kustantajasta on levinnyt riittävän laajalle. Tämä tapahtuu kuitenkin yleensä muulla tavoin kuin tutkijoita jatkuvasti painostamalla.

Bibliometrinen analyysi

Kvalitatiivista ensivaikutelmaa täydentää bibliometrinen analyysi. Sen avulla voidaan selvittää, mikä on kustantajan (tärkeimpien) lehtien suhteellinen, tieteenalasta riippumaton impakti. On kuitenkin huomattava, että eri tietokannat (kuten Web of Science, Scopusja Google Scholar 6) sisältävät erityyppistä aineistoa (esimerkiksi WOS sisältää vain vähän humanistis-yhteiskuntatieteellistä aineistoa). Siksi vertailussa on hyödyllistä käyttää useaa tietokantaa (esimerkiksi yllä mainittua kolmea), vaikkei jokin tietty lehti välttämättä löydy kaikista. Impaktit voi kirjata kätevästi esimerkiksi Excel-taulukkoon. Taulukkoon on hyödyllistä lisätä myös Julkaisufoorumi-luokitus. Impaktilukuja verratessa on myös hyvä pitää mielessä, että ne kertovat artikkelien vaikuttavuudesta, ei suoranaisesta laadusta.

MDPI-kustantajan lippulaivalehdet. Scopus/WoS-sarakkeiden luvut ovat suhdelukuja normalisoituun keskiarvoon (1) nähden. Google Scholarista on otettu suhdeluvuksi h5-indeksi, joka kohdentaa tarkastelun viimeiseen (täyteen) viiteen vuoteen.
MDPI :n lehdet ISSN Scopus WOS h5-index (Google Scholar) JUFO
Applied Sciences 2076-3417 1.679 24 1
Catalysts 2073-4344 3.44 3.082 23 0
Energies 1996-1073 2.5 2.262 48 1
Entropy 1099-4300 1.87 1.821 38 1
Forests 1999-4907 2.06 1.951 25 1
Genes 2073-4425 3.62 3.6 27 0
International Journal of Environmental Research and Public Health 1660-4601 2.101 57 1
International Journal of Molecular Sciences 1422-0067 3.226 86 1
Marine Drugs 1660-3397 3.83 3.503 48 1
Materials 1996-1944 3.26 2.654 1
Metals 2075-4701 1.984 16 1
Molecules 1420-3049 3.09 2.861 67 1
Nutrients 2072-6643 4.29 3.55 62 1
Polymers 2073-4360 3.364 37 1
Religions 2077-1444 11 0
Remote Sensing 2072-4292 3.56 3.244 57 1
Sensors 1424-8220 2.677 78 1
Sustainability 2071-1050 1.96 1.789 38 1
Symmetry 2073-8994 1.12 1.457 12 0
Toxins 2072-6651 3.34 3.911 43 1
Viruses 1999-4915 3.6 3.465 51 1
Water 2073-4441 2.05 1.832 24 1
Kuva 1. MDPI:n lehdet, joissa Helsingin yliopiston tutkijat ovat eniten julkaisseet 2007–2017. InCites / Clarivate Analytics.

Kuva 1. MDPI:n lehdet, joissa Helsingin yliopiston tutkijat ovat eniten julkaisseet 2007–2017. InCites / Clarivate Analytics.

Kuva 2. MDPI:n lehdet, joihin Helsingin yliopiston tutkijat ovat eniten viitanneet 2007–2017. InCites Dataset / Clarivate Analytics.

Kuva 2. MDPI:n lehdet, joihin Helsingin yliopiston tutkijat ovat eniten viitanneet 2007–2017. InCites Dataset / Clarivate Analytics.

Lehtien impaktilukujen lisäksi on hyvä tarkastella paljonko oman yliopiston tutkijat käyttävät tietyn kustantajan lehtiä toisaalta julkaisukanavana ja toisaalta lähteinä eli paljonko viittauksia löytyy tietyn kustantajan eri lehtiin. Näitä voi selvittää Clarivaten InCites-ohjelman avulla ja tuloksia voi verrata lehtien eri tietokannoista saatuihin impaktilukuihin nimenomaan oman yliopiston ja sen kirjaston näkökulmasta.

Seuraavissa kuvissa esitetään InCites -analyysi MDPI:n lehdistä Helsingin yliopiston tutkijoiden julkaisukanavina 2007–2017 (Kuva 1) ja esitys siitä, mihin MDPI:n lehtiin HY:n tutkijat ovat viitanneet 2007–2017 (Kuva 2). Molempiin on otettu mukaan 20 ensimmäistä lehteä. Tässä esimerkkitapauksessa tiedot on esitetty visualisointeina, mutta InCitesista saa ne siirrettyä myös Excel-taulukoksi, josta tiedot näkyvät tarkemmin.

Likapyykki

Tämä osio vaatii hieman salapoliisityötä. Tieteellisten OA-kustantajien (kuten lehtienkin) tarkimmin varjeltuja aarteita on maine. Hyvä maine houkuttelee parhaat tutkijat kirjoittamaan kustantajan lehdissä ja toimimaan lehtien toimituskunnissa ja toimimaan päätoimittajana. Hyvä maine myös myy kirjoja ja lehtipaketteja. Nykyisellä sosiaalisen median aikakaudella tahrat kustantajan maineessa leviävät kulovalkean tavoin ja näkyvät heti sen tuotteiden myynnissä ja laadussakin jonkin ajan päästä. Tämä on toki kirjastojen kannalta hyvä asia, sillä kustantajien intresseissä on toimia mahdollisimman vakuuttavasti kilpeään kiillottaakseen. Varjopuoli on kuitenkin se, että myös petojulkaisijat pyrkivät samaan päämäärään. Verkkosivut ja myyntipuheet ovat suhteellisen helppo laatia vakuuttavaan muotoon, mutta maineen korjaaminen on hankalampaa kun se kerran on tahriintunut.

Kustantajan onkin kiinnitettävä paljon huomiota laadunvalvontaan. Jos kustannettavia lehtiä on paljon, lehtien taso vääjäämättä vaihtelee. Mutta jos joukossa on yksikin huolimattomasti toimitettu julkaisu, se voi vaarantaa koko kustantajan maineen. Kärjistetysti voidaan sanoa, että kustantaja on juuri niin hyvä kuin sen huonoin lehti tai kirja, mutta toki joitakin virheitä annetaan anteeksi. Jos sen sijaan sama kustantaja on toistuvasti skandaalien keskipisteenä, sen toimintaan voi perustellusti suhtautua kriittisesti. Osa esiin tulleista ongelmista voi johtua myös vertaisarviointikäytännöistä – eräät avoimen vertaisarvioinnin muodot ovat herättäneet vahvoja epäilyksiä koko prosessin näennäisyydestä kun taas menettelyn puolustajat ovat pitäneet sitä osoituksena kustantajan edistyksellisyydestä ja avoimen kulttuurin tukemisesta.

Onneksi tahroja on suhteellisen helppo jäljittää. Jo kustantajia koskevilta Wikipedia-sivuilta löytyy usein tietoa erilaisista skandaaleista tai petojulkaisijoille tyypillisistä piirteistä (kuten vertaisarvioinnin läpäisseet kyseenalaiset artikkelit tai suorastaan valeartikkelit, sähköpostispämmi, 7artikkeleiden pieni hylkäysprosentti, turhankin avoin vertaisarviointiprosessi, päätoimittajan puuttuminen lehdistä, epätavallisen pienet kirjoittajamaksut tai kyseenalaiset jäsenyysmallit jne.). Skandaalit on yleensä myös dokumentoitu hyvin. Aika ajoin on myös järjestetty pistokokeita eri toimijoiden aloitteesta, joissa on lähetetty valeartikkeli eri kustantajien lehtiin ja verrattu palautetta. 8Tällaiset kokeilut antavat usein melko hyvän kuvan vertaisarvioinnin tasosta tai vertaisarviointimallin toimivuudesta.

Likapyykkiä kaivellessa tulee vastaan varsin mielenkiintoisia tapauksia. Käyttääksemme johdonmukaisesti samaa kustantajaa esimerkkinä, Life(MDPI) julkaisi vuonna 2011 artikkelin, jossa pyrittiin selittämään elämä. 9Sitä pidettiin älyttömänä ja huvittavana. MPDI:n edustaja Lin kuitenkin selitti, että artikkeli oli huolellisesti vertaisarvioitu ja vastaavasti korjattu. Vuonna 2013 ilmestyi toinen artikkeli, jossa väitettiin glyfosaatin olevan mm. liikalihavuuden, masennuksen, keskittymishäiriöiden, ADHD:n, autismin, Alzheimerin taudin, Parkinsonin taudin, MS-taudin, syövän ja hedelmättömyyden tärkein aiheuttaja. Artikkelissa ei ollut mitään tutkimustuloksia ja on vaikea ymmärtää miksi se julkaistiin. 10

Netistä ja varsinkin Twitteristä löytyy usein paljon keskustelua yksittäisistä kyseenalaisista artikkeleista ja kustantajista yleensä. Keskustelu voi olla kiihkeää ja vilkasta ja usein osapuolilla voi olla enemmän tai vähemmän oma lehmä ojassa. Jonkun kustantajan intohimoinen puolustaja voi esimerkiksi löytyä tämän lehden toimitusneuvostosta. Keskustelua seuratessa onkin pidettävä jäitä hatussa ja tarkasteltava kunkin keskustelijan agendaa. Toki kaikista kustantajista keskustelua ei löydy (mikä on yleensä hyvä merkki), mutta vaikkapa juurikin MDPI:stä kyllä on tarjolla kaikenlaisia mielipiteitä blogeissa, keskustelufoorumeilla ja Twitterissä. Näitä keskusteluja voi jäljittää hakukoneilla eri hakusanoja vaihdellen (esim. "MDPI and peer review"). Vertaisarvioinnin laadukkuuden arviointiin ei ole tarjolla juuri muita keinoja kuin nettikeskustelun seuraaminen ja mahdollisesti tutkijoilta kysyminen, vaikka on toki monia näkemyksiä sen suhteen onko esimerkiksi yhden henkilön suorittama sokea vertaisarviointi riittävä laadun tae.

Likapyykin perkaus vaatii luonnollisesti jonkun verran pohjatietoja kustannustoiminnasta ja tieteellisistä julkaisukäytännöistä. Lisäksi esimerkiksi toimitusneuvoston jäsenien jäljittäminen ja heidän maineensa selvittäminen voi olla työlästä ja aikaa vievää. Onkin käytettävä hieman harkintaa sen suhteen, miten paljon aikaa tällaiseen kaiveluun on hyvä käyttää suhteessa saavutettaviin tuloksiin.

Kuten mainitsimme edellä, tutkijoiden ja muiden OA-toimijoiden yhtenä apuvälineenä tahrojen jäljittämisessä oli pitkään Jeffrey Beallin ylläpitämä blogi ja siihen liittyvä listaus ( Beall’s List) epäilyttävistä OA-lehdistä ja -kustantajista. Beall’s listmuodostui tärkeäksi, mutta myös kiistanalaiseksi välineeksi tieteellisen julkaisemisen parissa toimiville. Beall lopetti bloginsa ylläpidon vuoden 2017 alkupuolella selittämättä tarkemmin päätöstään. Nykyisin on saatavilla verkkosivusto, jossa on kopio Beallin listasta sekä erikseen sivuston ylläpitäjän oma päivittyvä listaus epäilyttävistä OA-lehdistä ja -kustantajista. 11

Beallin lista herätti paljon ristiriitoja, olihan se vain yhden henkilön näkemyksiin ja kriteereihin perustuva. Monen kustantajan maineen historiassa löytyvät tahrat liittyvät nimenomaan Beallin listalle joutumiseen ja mahdollisesti sieltä pois pääsemiseen (em. MDPI joutui Beallin listalle vuonna 2014, mutta pääsi sieltä pois vuonna 2015 pystyttyään osoittamaan Beallin eräät väitteet virheelliseksi). On useita tapauksia, joissa tietty kustantaja on joutunut Beallin listalle, minkä seurauksena on ollut erilaisia pyrkimyksiä vaikuttaa sekä Beallin itseensä että hänen taustaorganisaationsa listalta poistamiseksi. Esimerkiksi samainen MDPI yritti lahjoa Beallin ja vaikuttaa tämän työnantajaan.

Suomessa polemiikkia syntyi esimerkiksi Julkaisufoorumin tasolle 1 hyväksytyistä Beallin listalla esiintyneistä lehdistä. Vuonna 2015 Julkaisufoorumin paneelit päätyivät uudelleenarvioimaan kyseiset lehdet, jolloin niistä suurin osa pudotettiin pois tasolta 1 [10]. Kaiken kaikkiaan Julkaisufoorumi, kuten monet muutkin, tasapainoilivat suhtautumisessaan Beallin listaan; toisaalta sitä pidettiin hyödyllisenä, toisaalta se nähtiin vain yhtenä indikaattorina muiden joukossa. Jotta kaikilla Julkaisufoorumin käyttäjillä olisi mahdollisuus itse hakea ja arvioida Beallin listan lehtiä, ne olivat myös yhtenä hakukriteerinä julkaisukanavien haussa siihen asti, kunnes Beall lopetti listansa ylläpidon.

Beallin listan tärkeimpänä seuraajana voitaneen pitää Cabell’s Blacklist-palvelua, joka on vuonna 2017 lanseerattu kaupallinen tuote. 12Hinnoittelu ei ole kiinteä, vaan vaihtelee organisaation koon mukaan. Cabell’s Blacklist-palvelua on toimintaperiaatteidensa suhteen kommentoitu lupaavana, joskin kehittämistä vaativana palveluna [11]. Itse asiassa tilattavia palveluita on kaksi: Cabell’s Blacklistja Cabell’s Whitelist. 13Edellinen sisältää listauksen lehdistä, jotka eivät täytä asetettuja laatukriteerejä, kun taas jälkimmäisen listan lehdet täyttävät ne. Cabell’s Blacklisttavoittelee Beallin listaan verrattuna enemmän objektiivisuutta ja läpinäkyvyyttä. Palvelulla on selkeät laatukriteerit ja kaikkien listalla esiintyvien lehtien suhteen ovat saatavilla perustelut, miksi ne eivät täytä kriteereitä. Kriteereiden täyttymisen osalta tutkitaan lehtien verkkosivuilla esiintyvää informaatiota sekä selvitetään mm. toimituskuntaan kuuluvien henkilöiden taustoja. [12].

Asiantuntijalausunnot

Edellisen osion tuloksien täydentämiseen voi mahdollisuuksien mukaan pyytää mielipiteitä lehtien alaa tuntevilta henkilöiltä, kuten tutkijoilta, tutkimushallinnolta, kirjastojen tieteenalavastaavilta, hankinnasta ym. asiasta perillä olevilta henkilöiltä. Hyvässä tapauksessa voidaan saada useita näkemyksiä, jotka joko tukevat tai eivät tue aiempien osioiden tuloksia. On kuitenkin huomattava, että näihin näkemyksiin pätee sama kriteeri kuin nettikeskusteluihin - on katsottava agendaa, positiota ja näkemyksen motivaatiota. Tutkija saattaa suositella kustantajaa esimerkiksi sen vuoksi että hän on jonkun sen lehden toimitusneuvostossa tai on julkaissut kustantajan lehdessä. Siksi on hyvä pyytää näkemyksiä useilta henkilöiltä ja eri positioista jos vain mahdollista.

Laadunarvioinnin yhteenveto

Evaluoinnin lopuksi kerätään näiden eri osioiden tulokset yhteen ja muodostetaan perusteltu mielipide siitä, onko jokin OA-kustantaja tai OA-lehti kirjaston luottamuksen arvoinen eli tehdään päätös esimerkiksi jäsenyysohjelmaan menosta. Koska varat ovat niukat, kirjastot voivat mennä uusiin jäsenyysohjelmiin mukaan vain tarkan harkinnan jälkeen. Kirjastot voivat myös mahdollisuuksien mukaan pilotoida uusia laadukkaiksi katsottuja avoimen julkaisemisen malleja ja käytäntöjä. Lisäksi on seurattava kustantajien toimintaa jatkuvasti, sillä ne voivat muuttaa toimintatapojaan satunnaisesti. Tämän seurauksena kustantajien lehtien taso saattaa vaihdella ja siksi em. Beallin listalle on moni joutunut syyttä tai syystä ja myös sieltä päässyt pois parannettuaan toimintatapojaan. Esittelemämme evaluointimallin tarkoitus onkin edistää tutkijoiden avointa julkaisemista mahdollisimman laadukkaissa ja luotettavissa julkaisukanavissa.

Lopuksi

Artikkelimme tarkoitus on esittää suuntaviivoja, joiden perusteella voidaan evaluoida open access -kustantajia toisaalta tiedekirjastojen hankinnan ja toisaalta OA-julkaisemista harkitsevan tutkijan näkökulmasta. Esitetyn menetelmän avulla voidaan itse arvioida kustantajien luotettavuutta ja lehtien/lehtipakettien laatua, mutta on huomattava, että menetelmä on pääosin subjektiivinen ja siten altis virheille. Mitä parempi kokonaisnäkemys arvioinnin tekijällä on tapauksesta riippuen kirjastojen hankintatyöstä, open access -kulttuurista, tieteellisestä julkaisutoiminnasta ja bibliometriikasta, sen paremmin hän pystyy arviointeja tekemään. Mikään ei kuitenkaan estä hajauttamasta arviointiprosessia useammalle eri alan asiantuntijalle, kuten Helsingin yliopiston kirjaston aihetta koskevassa työpajassa tehtiin hyvällä menestyksellä. Siten esimerkiksi bibliometrisen analyysin voi tehdä sitä hyvin tunteva ja kvalitatiivisen analyysin voi tehdä julkaisukäytäntöihin, kuten vertaisarviointiin hyvin perehtynyt henkilö. Vaikka laadunarviointia ovat tarjonneet ns. Beallin lista ja sen seuraajana kaupallinen yritys Cabell, itse tehty arviointi voi olla parempi ja varsinkin opettavaisempi tapa evaluoida open access -kustantajia. Tämä ei toki tarkoita sitä, että esimerkiksi DOAJ:n hylkäämien lehtien hylkäysperusteet eivät olisi huomionarvoisia. 14