Julkaisupaine suomalaisessa tiedeyhteisössä

Kirjoittajat

DOI: https://doi.org/10.23978/inf.65186

Abstrakti

Performance-based research funding systems are often assumed to create an increasing pressure to publish among academics. Presumption is that national level incentives put pressure on researchers to increase quantity of publishing at the expense of quality. In Finland publications have been a criterion in the government’s basic funding model for universities since 2007. We analysed national personnel and publication data on Finnish universities, and found that the average publication productivity among Finnish university staff has not increased from 1998 to 2016. We also looked at the Web of Science publications in 1998-2014, and found that publication productivity of academics is not exceptionally high in Finland, compared to Sweden, Denmark and Norway. Citation impact has not remarkably decreased in Finland compared to the other Nordic countries. In our view, the experience of pressure to publish is also, and perhaps primarily, due to competition for research funding and academic positions partaken by an increasing number of researchers.

Numero
Vol 36 Nro 2 (2017)
Osasto
Artikkelit

Julkaistu

2017-07-14

Viittaaminen

Pölönen, J., & Auranen, O. (2017). Julkaisupaine suomalaisessa tiedeyhteisössä. Informaatiotutkimus, 36(2). https://doi.org/10.23978/inf.65186

Copyright (c) 2017 Janne Pölönen, Otto Auranen

Creative Commons License

Tämä työ on lisensoitu Creative Commons Nimeä-EiKaupallinen-JaaSamoin 4.0 Kansainvälinen Julkinen -lisenssillä.

Toisen maailmansodan jälkeen globaali tiedejärjestelmä on kasvanut eksponentiaalisesti. Derek De Solla Price ennusti 1960-luvun alussa tieteellisten julkaisujen määrän kaksinkertaistuvan noin 15 vuoden aikajaksolla. Hänen arvionsa perustui analyyseihin tieteellisten artikkelien abstraktien kasvuvauhdista vuosina 1907–1960 [1]. Larsenin ja von Insin uudempi analyysi [2] vuosilta 1907–2007 antaa samantyyppisen tuloksen, vaikka heidän analyysinsä osoittaa myös aloittaista vaihtelua tieteellisen julkaisemisen kasvuvauhdissa [2].

Tieteellisen tutkimuksen ja julkaisutoiminnan kasvun myötä on moninkertaistunut tutkimukseen ja korkeakoulutukseen käytetty julkinen rahoitus. Kasvavia tutkimusinvestointeja on seurannut vaatimus, että yhteiskunnan tarjoamat rajalliset resurssit on käytettävä hyödyllisesti ja tehokkaasti. Toisaalta 1970-luvulta lähtien useissa kehittyneissä länsimaissa on tapahtunut ideologinen siirtymä kohti julkisen hallinnon ja julkisten varojen käytön tehokkuutta ja markkinamekanismeja korostavaa uutta julkishallintoa (New Public Management). Näiden kehityskulkujen seurauksena useissa länsimaissa (ml. Suomi) on siirrytty kilpailun positiivisia vaikutuksia korostavan tiedepolitiikan aikakauteen [3][5]. Uuden julkishallinnon periaatteiden mukaisesti Suomen opetus- ja kulttuuriministeriö on 1990-luvulta lähtien käyttänyt yliopistojen perusrahoituksen jakamiseen rahoitusmalleja, joissa rahoitus perustuu entistä enemmän opetuksen ja tutkimuksen tuloksiin [6].

Tiedejärjestelmää koskevan tilastoinnin ja mittaamisen myötä on yleistynyt myös yliopistojen tutkimuksen laadun ja vaikuttavuuden bibliometrinen tarkastelu sekä kansainvälinen vertailu [7]. Suomalaisten korkeakoulujen opetus- ja tutkimustoiminnan tilastointia on kehitetty 1980-luvulta lähtien. Julkaisutoiminnan tilastointia ja analyysiä on kehitetty voimakkaammin 2000-luvulta lähtien [8]. Vuodesta 2007 tieteellisiä julkaisuja alettiin käyttää yhtenä yliopistojen saaman valtionrahoituksen kriteereistä. Suomen rahoitusmalli vastaa OECD:n käyttämää suoritusperusteisen tutkimusrahoitusjärjestelmän (Performance-Based Research Funding System) määritelmää, jossa valtion perusrahoitusta jaetaan yliopistoille tieteelliseen julkaisutoimintaan kohdistuvan arvioinnin perusteella [9]. Vuodesta 2007 tieteellisten julkaisujen perusteella jaettava osuus perusrahoituksesta on rahoitusmallissa kasvanut 0,3 prosentista 13 prosenttiin vuonna 2013. Vuodesta 2015 rahoitusmallissa on käytetty julkaisujen laadun indikaattorina tieteellisten julkaisusarjojen ja kirjakustantajien Julkaisufoorumi-luokitusta, joka perustuu tieteenaloittaisten paneelien suorittamaan asiantuntija-arviointiin [10].

Julkaisutoiminnan mittarien käyttö rahoituksen perusteena on saanut kansainvälisessä ja kotimaisessa tiedeyhteisössä ristiriitaisen vastaanoton. Tulosohjauksen on katsottu edustavan tieteelle vierasta ja akateemisen vapauden vastaista ohjailua, jolla on myös ei-toivottuja vaikutuksia tutkimus- ja julkaisutoimintaan [11]. Mittarit eivät tunnista, tai painota tasapuolisesti, tutkimuksen kaikkia laadullisia ominaisuuksia. Uhkana on, että pyrkimys osoittaa rahoitusinstrumentin edellyttämää tuloksellisuutta voi tutkimusorganisaatioissa syrjäyttää tieteen todellisen, alkuperäisen tavoitteen tuottaa laadukasta ja vaikuttavaa tutkimusta (goal displacement) [12][14]. Tyypillisesti mittaamista, tulosohjausta ja rahoitusmalleja arvostellaan siitä, että ne lisäävät tiedeyhteisössä kilpailua ja julkaisupainetta, mikä johtaa laadun kustannuksella tapahtuvaan julkaisutehtailuun [15][16]. Suomessa kritiikkiä on kohdistettu erityisesti Julkaisu-foorumi-järjestelmään, joka etenkin ihmistieteissä on samalla nähty uhkana suomenkielisen julkaisutoiminnan jatkuvuudelle [17][22].

Australiassa yliopistojen perusrahoitusmalliin sisältyneen julkaisumääriä mitanneen julkaisuindikaattorin tiedetään lisänneen 1990-luvulla yliopistojen henkilökunnan julkaisuaktiivisuutta erityisesti viittausvaikuttavuudeltaan heikommissa lehdissä [23]. Puolestaan Norjassa, jonka yliopistorahoituksessa on vuodesta 2005 käytetty Julkaisufoorumin kaltaisella laatuindeksillä painotettua julkaisuindikaattoria, ei ole todettu vastaavaa julkaisutoiminnan siirtymistä heikompiin lehtiin [24]. Suomea koskevassa keskustelussa [21][22] ei ole esitetty näyttöä siitä, että yliopistojen opetus- ja tutkimushenkilöstön julkaisutuottavuus olisi kasvanut laadun kustannuksella sen jälkeen kun julkaisuindikaattori otettiin käyttöön rahoitusmallissa. Aiempien selvitysten mukaan julkaisutuottavuus laski vuotta 2007 edeltäneen vuosikymmenen aikana [8][25]. Kaksi viimeisintä Suomen Akatemian Tieteen tila -arviointia osoittavat Suomen tieteellisen vaikuttavuuden pysyneen vakaana ja olleen jotakuinkin maailman keskitasoa tai hiukan sen yläpuolella 1990-luvun alusta 2010-luvun puoliväliin, mutta jäävän silti jälkeen eräistä OECD-vertailumaista [26][27]. Toisaalta viittausanalyyseihin perustuva näyttö on kyseenalaistettu [28].

Kysymykset ja aineistot

Koska julkaisupaineen oletetaan johtaneen laadun kustannuksella tapahtuvaan julkaisutehtailuun, tässä artikkelissa kysymme 1) onko Suomen yliopistojen opetus- ja tutkimushenkilöstön keskimääräinen julkaisutuottavuus kasvanut ja 2) onko nähtävissä merkkejä tutkimuksen laadun heikentymisestä.

Lisäksi kysymme 3) mitkä muut tutkimusympäristössä tapahtuneet muutokset voivat selittää julkaisupaineen kokemusta ja 4) vertaamme Suomen tilannetta ja kehitystä muihin Pohjoismaihin.

Julkaisutuottavuuden kehitystä arvioidaan suhteuttamalla suomalaisten yliopistojen tuottamien tieteellisten julkaisujen määrä yliopistojen opetus- ja tutkimushenkilökunnan henkilötyövuosien määrään (julkaisuja/henkilötyövuosi) ajalla 1998–2016. Henkilötyövuodet olisivat saatavilla KOTA -tietokannasta vuodesta 1991 alkaen, mutta aloitamme tarkastelun vuodesta 1998. Tästä vuodesta alkaen viikkotyötuntien määrä on laskettu yhdenmukaisesti 37 tunnin mukaan, kun tätä ennen viikkotuntien määrä oli 30 tuntia [8]. Vuosien 1998–2009 osalta on laskettu Kota-tietokannasta opetushenkilökunnan (budjettivaroin ja ulkopuolisin varoin) sekä muun kuin opetushenkilökunnan henkilötyövuosien lukumäärä (tutkimushenkilökunta ja tutkijakoulutettavat). Vuosien 2010–2016 osalta henkilötyövuodet on saatu opetushallinnon Vipunen-tietopalvelusta (tutkijanuraportaiden I-IV henkilöstö sekä tuntiopettajat tai tutkijanuraportaille sijoittamattomat).

Yliopistojen tuottamien tieteellisten julkaisujen määrä on saatavilla KOTA-tietokannasta vuodesta 1994 alkaen, mutta tarkastelu aloitetaan henkilötyövuosien tavoin vuodesta 1998. Julkaisumäärät vuosilta 1998–2009 on saatu laskemalla yhteen Kota-tietokannasta Suomessa ja ulkomailla julkaistut artikkelit ja monografiat. Vuosien 2010–2016 osalta on laskettu Vipunen-tietokannasta vertaisarvioidut artikkelit (julkaisutyypit A1, A2, A3, A4) sekä tieteelliset erillisteokset ja toimitetut teokset (C1 ja C2). Siirtymä KOTA-aineistosta Vipunen-aineistoon ei kuitenkaan ole täysin saumaton. Vuodesta 2010 julkaisutyyppiluokitusta on täsmennetty niin, että Vipusen tilastoissa voidaan erottaa toisistaan vertaisarvioidut (julkaisutyyppi A) ja vertaisarvioimattomat (julkaisutyyppi B) tieteelliset artikkelit. Emme pysty varmuudella sanomaan missä määrin KOTA-tilaston tieteelliset julkaisut sisältävät vertaisarvioitujen lisäksi myös vertaisarvioimattomia julkaisuja. Tästä syystä julkaisumäärät on laskettu Vipunen-tietokannasta sekä pois- että mukaan lukien julkaisutyyppeihin B1, B2 ja B3 kuuluvat vertaisarvioimattomat artikkelit. Vuoden 2016 julkaisutiedoissa on puutteita, joten olemme arvioineet vertaisarvioitujen määräksi 28000 ja kaikkien tieteellisten julkaisujen määräksi 32000.

Yliopistojen rahoitusmallin mukaisen tuottavuuden osoittaminen on vain yksi mahdollinen kilpailua ja julkaisupainetta tutkijoiden keskuudessa aiheuttavista motiiveista. Lisäksi on huomioitava erityisesti tutkimusrahoituksesta ja tehtävistä käytävän kilpailun kiristyminen. Tässä artikkelissa tarkastelemme kilpailun kiristymistä tutkijakoulutuksen saaneiden henkilöiden määrän eli tutkimusrahoitusta ja –tehtäviä hakevan potentiaalisen joukon lisääntymisenä. Tätä tarkastellaan yliopistojen tuottamien ylempien korkeakoulututkintojen ja tohtorintutkintojen määrällä. Nämä tiedot vuosilta 1998–2015 on saatu KOTA- ja Vipunen-tietokannoista. Lisäksi arvioimme tutkimusrahoituksesta käytävän kilpailun lisääntymistä vertaamalla yliopistojen budjettirahoituksen ja ulkopuolisen rahoituksen määriä, joita koskevat tiedot on saatu Tilastokeskuksesta (tietoaineisto: Korkeakoulusektorin tutkimustoiminnan menot rahoituslähteen mukaan korkeakouluittain 1991–2015). Pohjoismaiden välistä vertailua varten käytetään OECD:n tilastoihin perustuvia tietoja yliopistojen ulkopuolisen tutkimusrahoituksen osuudesta Suomessa, Ruotsissa, Norjassa ja Tanskassa vuosina 1998–2015 (tietoaineisto: Gross domestic expenditure on R-D by sector of performance and source of funds).

Vertaamme suomalaisten tutkijoiden julkaisutuottavuuden ja julkaisutoiminnan laadun, erityisesti kansainvälisen tieteellisen vaikuttavuuden, kehitystä kooltaan vastaaviin Pohjoismaihin (Ruotsi, Tanska ja Norja). Tähän tarkoitukseen käytämme Opetushallinnon Vipunen-tietopalvelun Bibliometriikka-osiosta saatavia Web of Science -julkaisujen lukumääriä, viittausindeksejä ja Top10-indeksiä vuosilta 1998–2014. On muistettava, että tässä tarkastelussa ovat mukana kaikki tietyn maan organisaatioiden tuottamat, ei vain kyseisen maan yliopistojen tuottamat julkaisut. Voidaksemme verrata julkaisutuottavuutta olemme myös suhteuttaneet edellä mainittujen Pohjoismaiden WoS-julkaisujen määrän OECD:n tilastoimiin tietoihin tutkimushenkilöstön henkilötyövuosista (total researchers, FTE) vuosilta 1998–2014 (tietoaineisto: Main Science and Technology Indicators).

Tulokset

KOTA- ja Vipunen-tietokannoista sekä Tilastokeskuksesta saatavat tiedot henkilötyövuosista, julkaisuista, tutkinnoista ja rahoituksesta on laskettu kolmen vuoden keskiarvoina (Taulukko 1). Aineistossa suomalaisten yliopistojen yhteisjulkaisut esiintyvät useaan kertaan.

Suomalaisten yliopistojen henkilötyövuodet, julkaisut, tutkinnot ja rahoitus 1998–2016.
Henkilötyövuodet (KOTA ja Vipunen) Vertaisarvioidut julkaisut (KOTA ja Vipunen)* Kaikkitieteellisetjulkaisut (KOTA ja Vipunen)** Ylemmät kk-tutkinnot (KOTA ja Vipunen) Tohtorintutkinnot (KOTA jaVipunen) Budjettirahoitus (Tilastokeskus) Ulkopuolinenrahoitus (Tilastokeskus)
1998–2000 12420 20881 20881 11571 1103 331876 315390
1999–2001 12921 21002 21002 11651 1176 343579 347066
2000–2002 13529 21054 21054 11724 1195 356957 373468
2001–2003 14129 21587 21587 12022 1229 381630 392344
2002–2004 14639 22707 22707 12358 1293 409411 417915
2003–2005 14888 23759 23759 12640 1359 427521 428483
2004–2006 15014 24868 24868 12879 1410 439542 440105
2005–2007 15074 25417 25417 13311 1452 456738 453740
2006–2008 15144 25529 25529 16279 1487 475593 481680
2007–2009 15315 25571 25571 15415 1565 508415 513586
2008–2010 16389 24717 26612 15581 1562 537540 562837
2009–2011 17258 24495 28191 12478 1604 543057 618053
2010–2012 18056 24298 29702 13576 1607 541633 672735
2011–2013 17957 25242 30320 13596 1675 528444 690026
2012–2014 17940 26846 31198 14855 1865 620111 655660
2013–2015 17741 27267 31515 15316 1881 629739 648141
2014–2016 17672 27371 31571

* sisältää opetus- ja kulttuuriministeriön tiedonkeruun julkaisutyypit A1, A2, A3, A4, C1 ja C2.

** sisältää opetus- ja kulttuuriministeriön tiedonkeruun julkaisutyypit A1, A2, A3, A4, C1, C2, B1, B2 ja B3.

Opetus- ja tutkimushenkilöstön julkaisutuottavuuden kehitys

Suomalaiset yliopistot tuottivat tarkastelujakson alussa keskimäärin 21000 julkaisua vuodessa. Vuoden 2005 jälkeen julkaisumäärä ylitti 25000 ja pysyi tällä tasolla vuoteen 2009, jolloin KOTA-aineisto päättyy. Vuodesta 2010 siirrytään Vipunen-aineistoon, jolloin julkaisumäärä laskee hieman alle 25000, jos tarkastelu rajataan vertaisarvioituihin julkaisuihin. Vertaisarvioitujen julkaisujen määrä kuitenkin ylittää 27000 tarkastelujakson lopulla, jolloin kasvua vuoden 1998 tasosta on kaikkiaan 28 prosenttia. Jos julkaisuiksi lasketaan myös vertaisarvioimattomat julkaisut, julkaisumäärä osoittaa kasvua suhteessa Kota-aineistoon, ja ylittää 31000 tarkastelujakson lopulla – tällöin kasvua vuoden 1998 tasosta on 49 prosenttia.

Yliopistojen opetus- ja tutkimushenkilökunnan henkilötyövuosien määrä oli tarkastelujakson alussa noin 12000. Vuonna 2004 jälkeen henkilötyövuosien määrä saavutti 15000 ja oli 15500 vuonna 2009, jolloin KOTA-aineisto päätyy. Vipunen-tietokannassa henkilötyövuosien määrä on selvästi korkeampi, lähes 18000, joten siirtymä aineistojen välillä ei ole saumaton. Kasvua henkilötyövuosien määrässä koko tarkastelujaksolla on 44 prosenttia. Tutkimusresurssien käytön ja tuotosten, kuten julkaisujen, välillä on viive [29], joten olemme verranneet henkilötyövuosien kolmen vuoden keskiarvoa julkaisumäärien keskiarvoon seuraavilta kolmelta vuodelta (esimerkiksi htv vuosilta 1998–2000 ja julkaisut vuosilta 2001–2003).

Tarkastelujakson alussa suomalaiset yliopistot tuottivat 1,9 julkaisua henkilötyövuotta kohti (Kuva 1). Julkaisutuottavuus näyttää 2000-luvun alussa hieman laskeneen, kuten aiemmat selvityksetkin ovat osoittaneet [8][25]. Jos tarkastellaan julkaisutuottavuuden kehitystä yksinomaan KOTA-aineistolla, havaitaan tämä lasku julkaisutuottavuudessa vuosina 1998–2009. Vuoden 2010 jälkeen tapahtunutta muutosta on vaikeampi arvioida. Jos henkilötyövuosiin suhteutetaan yksinomaan Vipusesta saatavien vertaisarvioitujen julkaisujenmäärä (julkaisutyypit A ja C), julkaisutuottavuus olisi edelleen hieman laskenut. Tällöin kauden lopussa tuotettiin 1,5 julkaisua henkilötyövuotta kohti. Jos taas lasketaan myös vertaisarvioimattomat julkaisut (julkaisutyypit A, B ja C), julkaisutuottavuus olisi tarkastelujakson lopussa lähes samalla tasolla kuin 90-luvun lopussa, eli julkaisuja henkilötyövuotta kohti olisi 1,8. Vaikka Vipunen-tietokantaan perustuvaa henkilötyövuosimäärää vähennetään samalle tasolle kuin se oli 2009 Kota-tietokannassa (noin 15500), tuottavuus ei olisi kasvanut vertaisarvioitujen julkaisujen osalta.

Julkaisutuottavuuden kehitys 1998–2016.

Julkaisutuottavuuden kehitys 1998–2016.

Tutkintomäärien ja tutkimusrahoituksen kehitys

Kaikkiaan suomalaisissa yliopistoissa tarkastelujaksolla 1998–2015 ylemmän korkeakoulututkinnon suorittaneita oli yli 240000 ja tohtoreita valmistui yli 26000. Yliopistot tuottivat tarkastelujakson alussa keskimäärin 11571 ylempää korkeakoulututkintoa ja 1103 tohtorintutkintoa vuodessa. Tarkastelujakson lopulla ylempien korkeakoulututkintojen tuotanto oli 29 prosenttia vuoden 1998 tasoa korkeampi, ja tohtorintutkintojen tuotannon osalta havaitaan kasvua 65 prosenttia (Taulukko 1). Rahoituskilpailun kiristyminen näkyy erityisesti ulkopuolisen rahoituksen kasvuna. Tarkastelujakson alussa yliopistot käyttivät tutkimukseen budjettirahoitusta 331876 euroa ja ulkopuolista rahoitusta 315390 euroa. Tarkastelukauden lopussa ulkopuolisen rahoituksen määrä oli kasvanut vuoden 1998 tasosta 110 prosenttia, eli huomattavasti enemmän kuin budjettirahoituksen määrä, joka kasvoi 79 prosenttia (Taulukko 1 ja Kuva 2). Suurimmillaan ulkopuolisen rahoituksen osuus oli 2011–2013.

Julkaisujen, henkilötyövuosien ja rahoituksen kehitys 1998–2015.

Julkaisujen, henkilötyövuosien ja rahoituksen kehitys 1998–2015.

OECD:n tietojen mukaan ulkopuolisen tutkimusrahoituksen osuus yliopistojen tutkimusmenoista on ollut tarkastelujaksolla 1998–2015 Suomessa muita Pohjoismaita suurempi, vaikkakin osuus on Ruotsissa ollut lähes yhtä suuri (Kuva 3).

Ulkopuolisen tutkimusrahoituksen osuus Pohjoismaissa 1998–2015.

Ulkopuolisen tutkimusrahoituksen osuus Pohjoismaissa 1998–2015.

Julkaisutuottavuuden ja vaikuttavuuden pohjoismainen vertailu

OECD:n tietokannasta haetut tiedot Pohjoismaiden tutkimushenkilöstön työvuosista ja Vipunen-tietopalvelusta haetut tiedot Web of Science -tietokantaan indeksoitujen julkaisujen määrästä, viittausindeksistä ja Top10-indeksistä on laskettu neljän vuoden keskiarvoina tarkastelujaksolta 1998–2014 (Taulukko 2 ja 3). Aineistossa kansainväliset yhteisjulkaisut on ositettu julkaisuun osallistuneiden maiden kesken.

Suomen, Ruotsin, Tanskan ja Norjan tutkimushenkilöstön henkilötyövuodet (OECD)
Suomi Ruotsi Tanska Norja
1998–2001 33711 42958 19199 18990
1999–2002 35761 42958 21315 18990
2000–2003 38023 47091 23294 20116
2001–2004 39562 47655 24012 20298
2002–2005 40235 50657 26194 20803
2003–2006 40680 51925 27019 21247
2004–2007 39999 51332 28342 22198
2005–2008 39968 51691 30725 23427
2006–2009 40285 49767 32878 24695
2007–2010 40538 48163 35025 25663
2008–2011 40789 48886 37277 26383
2009–2012 40686 48651 38371 26948
2010–2013 40273 52872 39141 27458
2011–2014 39487 57205 40135 28155
Web of Science -julkaisut 1998–2014 (Vipunen)
Suomi Ruotsi Tanska Norja
1998–2001 25113 50428 24666 16331
1999–2002 25426 50290 24686 16281
2000–2003 25884 50274 25060 16481
2001–2004 26336 50470 25402 16917
2002–2005 26737 51213 26040 17853
2003–2006 27774 52437 26983 19401
2004–2007 28894 53948 28085 21393
2005–2008 30418 55859 29463 23691
2006–2009 32214 57689 31033 26129
2007–2010 32995 59177 33010 28142
2008–2011 33593 60800 35206 30070
2009–2012 33973 63024 37737 31802
2010–2013 34464 65765 40585 33116
2011–2014 35529 68630 43419 34341

Julkaisutuottavuutta voidaan vertailla Pohjoismaiden välillä suhteuttamalla Web of Science-julkaisujen määrä OECD:n tilastoimiin tietoihin kaikkien tutkijoiden henkilötyövuosista (total researchers, FTE). Tässä tarkastelussa olemme verranneet henkilötyövuosien neljän vuoden keskiarvoa julkaisumäärien keskiarvoon samalta nelivuotiskaudelta. Vertailun kannalta on ongelmallista, että OECD:n aineisto sisältää ihmistieteiden henkilötyövuodet täysimääräisesti, mutta Web of Science -aineistossa ihmistieteiden julkaisut ja viittaukset ovat aliedustettuna. Ihmistieteiden osuus julkaisuista on kuitenkin lähes sama kaikissa vertailumaissa: Suomi 9,2 prosenttia, Ruotsi 8,2 prosenttia, Tanska 7,9 prosenttia ja Norja 10,1 prosenttia [30]. Koska Web of Science -julkaisuissa ovat mukana muutkin kuin yliopistojen tuottamat julkaisut, on myös työvuodet huomioitu kaikkien tutkijoiden eikä pelkästään korkeakoulusektorin osalta.

Suomessa, Ruotsissa, Tanskassa ja Norjassa Web of Science -julkaisujen määrä on kasvanut vuosina 1998–2014, mutta Suomen osalta julkaisuja suhteessa henkilötyövuosiin on koko tarkastelujakson ajan selvästi muita vertailumaita vähemmän (Kuva 4). Indeksoinnin piiriin lisätään jatkuvasti uusia lehtiä, joten tietokannan kasvu vaikuttaa Web of Science -julkaisumäärään. Julkaisumäärään vaikuttaa myös julkaisutoiminnan kansainvälistyminen, ja mahdollisesti myös tietoinen suuntaaminen Web of Science -indeksoituihin lehtiin. Tämän aineiston perusteella ei siis voida päätellä julkaisutuottavuuden kasvaneen.

Suomalaisten Web of Science -julkaisujen keskimääräinen tieteenalan keskitasoon suhteutettu viittauskeskiarvo (viittausindeksi), sekä osuus saman tieteenalan viitatuimpaan kymmenykseen kuuluvista julkaisuista (Top10-indeksi), on koko tarkastelujakson ajan ollut muita vertailumaita alempi (lukuun ottamatta vuosia 1998–2002, jolloin Norjan julkaisujen viittausindeksi oli samalla tasolla). Kuitenkin indeksit ovat Suomessa, samoin kuin vertailumaissa, tarkastelujakson lopussa hieman korkeampia kuin tarkastelujakson alussa, eli kehitys on ollut samansuuntainen (Kuvat 5 ja 6). Näin ollen voidaan todeta, että suomalaisen julkaisutoiminnan kansainvälinen vaikuttavuus ei ole tarkastelujaksolla ratkaisevasti heikentynyt.

Suomen, Ruotsin, Tanskan ja Norjan Web of Science -julkaisujen määrä suhteessa henkilötyövuosiin 1998–2014.

Suomen, Ruotsin, Tanskan ja Norjan Web of Science -julkaisujen määrä suhteessa henkilötyövuosiin 1998–2014.

Suomen, Ruotsin, Tanskan ja Norjan Web of Science -julkaisujen viittausindeksi 1998–2014.

Suomen, Ruotsin, Tanskan ja Norjan Web of Science -julkaisujen viittausindeksi 1998–2014.

Suomen, Ruotsin, Tanskan ja Norjan Web of Science -julkaisujen Top10-indeksi 1998–2014.

Suomen, Ruotsin, Tanskan ja Norjan Web of Science -julkaisujen Top10-indeksi 1998–2014.

Keskustelu

Julkaisupaineen kasvua ja julkaisujen laadun rapautumista pidetään usein itsestään selvyyksinä, jotka seuraavat julkaisutoiminnan mittaamisesta ja tähän perustuvasta yliopistojen tulosohjauksesta. Oletus on, että kaikki tutkijat julkaisevat entistä enemmän, mikä vääjäämättä tapahtuu tieteellisen laadun kustannuksella [21][22]. Tätä julkaisupaineen kokemusta ei ole syytä vähätellä. Tässä analyysissä emme ole kuitenkaan löytäneet konkreettista näyttöä julkaisutehtailun lisääntymisestä laadun kustannuksella. Suomalaisten yliopistojen opettajien ja tutkijoiden julkaisutuottavuus ei ole ratkaisevasti kasvanut sen jälkeen, kun julkaisut otettiin rahoitusmallin kriteeriksi 2007. Tarkastelujakson 1998–2016 alussa tieteellisiä julkaisuja tuotettiin 1,9 henkilötyövuotta kohti. Jakson lopussa tuottavuus oli keskimäärin 1,5–1,8 julkaisua per henkilötyövuosi, riippuen siitä lasketaanko pelkästään vertaisarvioidut julkaisut vai myös vertaisarvioimattomat tieteellisillä foorumeilla ilmestyneet julkaisut.

Vipunen-tietopalvelusta saatavat Web of Science -julkaisumäärät suhteutettuina OECD:n tietokannoista saataviin tutkimushenkilöstön työvuosiin osoittavat, että vuosina 1998–2014 julkaisuja henkilötyövuotta kohti on Suomesta vähemmän kuin muista Pohjoismaista. Vaikka WoS-julkaisut edustavatkin vain osaa tieteellisestä julkaisutoiminnasta, ei vaikuta siltä että Suomessa julkaisutuottavuus olisi muihin Pohjoismaihin verrattuna poikkeuksellisen korkea [31]. Vastaavasti Web of Science –julkaisujen viittauksilla mitattava vaikuttavuus on kehittynyt kaudella 1998–2014 melko samalla tavalla kaikissa Pohjoismaissa. Voidaan siis todeta, että ainakaan Web of Science -tietokantaan indeksoitujen lehtiartikkelien keskimääräinen viittausvaikuttavuus ei ole ratkaisevasti laskenut.

Kuten Norjan kokemukset osoittavat, kansallisen yliopistojen rahoitusmallin vaikutus tutkijan julkaisutoimintaan riippuu paljon siitä, missä määrin yliopistot käyttävät paikallisesti kansallisen mallin kriteereitä tulosohjauksessa [32][34]. Ei ole itsestään selvää, että nämä kriteerit ohjaavat vahvasti yksilöiden toimintaa yliopiston kaltaisissa löyhäsidoksisissa organisaatioissa. Julkaisutuottavuuteen voivat vaikuttaa monet muutkin tekijät [35].

Mistä johtuu se, että tuottavuus ei ole kasvanut tiedepoliittisesta linjasta ja insentiiveistä huolimatta? Yksi mahdollinen tekijä on valitun tiedepoliittisen linjan tuottama, kilpailuun perustuvan projektimuotoisen tutkimusrahoituksen osuuden kasvu yliopistosektorilla 1990-luvulta lähtien. Suomalaisten yliopistojen kasvu on tapahtunut 1990-luvulta lähtien suhteessa enemmän projektimuotoisen tutkimusrahoituksen kautta kuin kasvattamalla perusrahoitusta [4][36]. Ulkopuolisen kilpaillun rahoituksen määrä on tarkastelujaksolla kasvanut 110 prosenttia, ja sen osuus suhteessa perusrahoitukseen on pääsääntöisesti ollut suurempi kuin muissa Pohjoismaissa. Tämän tyyppinen rahoitus on tehnyt melko lyhyistä, määräaikaisista työsuhteista yleisiä yliopistoissa ja mahdollisesti heikentänyt mahdollisuuksia pitkäjänteiseen, tulokselliseen perustutkimukseen. Samaan aikaan edellä mainitun kehityksen kanssa, osittain yliopistojen perusrahoitusmallin luomien kannusteiden takia, väitöskirjatutkijoiden määrä yliopistoissa on kasvanut merkittävästi 1990-luvulta lähtien. Väitöskirjatutkijat ovat koko tarkasteluajanjaksollamme muodostaneet merkittävän osan Suomen yliopistojen tutkijatyövoimasta. Koska väitöskirjatutkijat ovat useiden tutkimusten mukaan vähemmän tuottavia kuin kokeneemmat kollegansa [37], heidän merkittävä osuutensa Suomen yliopistojen akateemisesta työvoimasta voi osaksi selittää sitä, että julkaisutuottavuus koko yliopistokentässä on pysynyt ennallaan.

Suomen yliopistokentässä viime vuosikymmeninä toteutetut rakenteelliset uudistukset ja erilainen kehittämistoiminta koskevat yliopistojen muun henkilökunnan lisäksi tutkijoita ja opettajia. Tämä voi osaltaan selittää tutkimustuottavuuden kehitystä: tutkijat ja opettajat käyttävät työaikaansa muuhunkin kuin ”puhtaaseen” tutkimukseen ja opetukseen, ja muun työn osuus on mahdollisesti kasvanut 1990-luvulta lähtien käsi kädessä tuloksellisuus- ja tilivelvollisuusvaatimusten kanssa. Yliopistojen opettajien ja tutkijoiden käymässä ajankohtaiskeskustelussa tämä on yleinen selitysmalli, mutta toisaalta tutkimuksia uudistus- ja kehittämistoiminnan vaikutuksesta opettajien ja tutkijoiden työajan käyttöön ja tuloksellisuuteen ei Suomessa juurikaan ole. Aarrevaaran ja Pekkolan [38] akateemista työtä koskevan raportin mukaan yliopistojen akateeminen henkilökunta arvioi käyttävänsä noin 10 prosenttia työajastaan hallintotehtäviin. Kun Aarrevaara ja Pekkola vertaavat omia tuloksiaan aiempaan yliopistohenkilökunnan ajankäyttötutkimukseen, käy ilmi että professorien ja silloisen yliassistentin nimekkeellä työskennelleiden kohdalla muiden kuin opetus- ja tutkimustehtävien osuus työajasta oli kasvanut 2000-luvun ensimmäisellä vuosikymmenellä (emt., 47–48, 134). Tällä yliopistohenkilökunnan kokeneemman osan työajan muutoksella voi olla vaikutusta tutkimustuloksellisuuteen, kun muistetaan että pidemmälle urallaan edenneet ovat yleensä tuottavampia kuin nuoremman polven tutkijat. Mahdollisista muutoksista 1990-lukuun nähden ei tämäkään aineisto kuitenkaan kerro.

Kansainvälisen vertailun perusteella suomalaisen senioritason yliopistojen opettajien ja tutkijoiden työajasta 37 prosenttia kului 2000-luvun lopulla tutkimustyöhön ja 33 prosenttia opetukseen, mikä tutkimustyön osalta on vertailumaiden keskitasoa. Nuoremman henkilökunnan kohdalla vastaavat luvut olivat 58 prosenttia ja 24 prosenttia, mikä tutkimuksen osalta on vertailumaiden huippua. Hallintotehtäviin suomalaisilla yliopistotyöntekijöillä ei kulu erityisen paljon aikaa kansainvälisessä vertailussa. Tutkimus sisältää ajallisen vertailun 1990-luvun alun tilanteeseen joidenkin maiden osalta, ja sen perusteella tutkimukseen käytetyn ajan osuus ei ole systemaattisesti muuttunut suuntaan tai toiseen senioritason henkilökunnan kohdalla, nuorempien kohdalla on havaittavissa pieni tutkimuksen osuuden lasku [39]. Suomalaisten yliopistojen tutkimustuloksellisuuden muuttumattomuutta ei siis näytä selittävän hallintotehtävien kasvaminen muita maita enemmän.

Julkaisutuottavuuden muuttumattomuus voi heijastaa myös sitä, että Suomen yliopistollinen tutkimusjärjestelmä oli jo tarkastelujaksomme alussa 1990-luvulla varsin kehittynyt, jolloin merkittävät parannukset tutkimusresurssien käytössä eivät ole todennäköisiä. Tähän ilmiöön viittaavat eräät ekonometriset tehokkuusanalyysit. Esimerkiksi Worthingtonin ja Leen (2008) analyysi Australian yliopistojen tutkimuksen ja opetuksen tehokkuuskehityksestä vuosituhannen vaihteessa osoitti, että tutkimuksen tehokkuus kasvoi uudemmissa yliopistoissa, jotka saavuttivat tehokkuudessa vanhemmat, vakiintuneet yliopistot tarkastelujaksolla 1998–2003. Vanhemmat, johtavat yliopistot eivät kuitenkaan pystyneet tehostamaan toimintaansa samaan aikaan, joten tehokkain tapa käyttää resurssit (ns. production frontier) ei parantunut. Chen, Hu ja Yang [40] ovat havainneet saman ilmiön maatasolla. Worthington ja Lee [41] esittävät, että nykyaikainen tieteellinen tutkimus on työvoimaintensiivistä toimintaa, jossa tuottavuutta (esimerkiksi julkaisutoiminnassa) on vaikea parantaa sen jälkeen kun tutkimustoiminnan vallitsevat parhaat käytännöt on omaksuttu.

Mistä johtuu julkaisupaineen ja -tehtailun kokemus? Osin mahdollisesti samoista syistä kuin julkaisutuottavuuden muuttumattomuus. Projektimuotoisen kilpaillun rahoituksen kasvu on luonut tilanteen, jossa tutkijoiden on meritoiduttava aktiivisesti mm. julkaisemisen kautta varmistaakseen itselleen resurssit ja toisaalta tullakseen valituiksi erilaisiin tehtäviin. Tohtorikoulutuksen kasvu on 1990-luvulta lähtien lisännyt merkittävästi tohtoreiden määrää aiempiin vuosikymmeniin verrattuna, minkä takia tutkijakoulutuksen ja -kompetenssin saaneita henkilöitä on selvästi enemmän kuin aiemmin. Tutkijatyövoiman kasvu lisää kilpailua resursseista ja tehtävistä yliopistoissa, vaikka kaikki tohtorikoulutuksen saaneet eivät päädykään tutkimustehtäviin.

Julkaisupaineen kokemukset voivat siis osittain olla tuloksellisuutta korostavan tiede- ja yliopistopolitiikan instrumenttien seurausta. Yhtäältä 1990-luvulla käyttöön otettu yliopistojen rahoitusmalli on luonut yliopistoille insentiivin lisätä julkaisutoimintaa viimeistään vuodesta 2007, kun julkaisut ovat olleet yhtenä rahoitusmallin indikaattorina. Tämä yliopistotason insentiivi voi ”valua” yliopistojen johdolta laitosten ja tiedekuntien johtajien kautta akateemiselle henkilökunnalle vaatimuksina julkaista enemmän. Julkaisujen erottelu vertaisarvioinnin ja kanavan perusteella voi lisätä julkaisupaineen kokemusta, koska vaatimusten mukaisten julkaisujen tuottaminen voi olla osalle tutkijoista entistä haastavampaa. Suurin osa yliopistoista käyttää myös monia eri julkaisutoiminnan määrää, kansainvälisyyttä, laatua ja vaikuttavuutta kuvaavia mittareita toimintansa seurantaan ja kehittämiseen. Julkaisufoorumin kaltaisten julkaisukanavaluokitusten merkitys yliopistojen sisäisissä yksikkö- tai yksilötason arviointijärjestelmissä näyttää korostuvan ihmistieteissä, joissa vaihtoehtoisia viittauksiin perustuvia julkaisutoiminnan laatuindikaattoreita ei ole [33][42][44]. Tämä saattaa selittää sitä, että julkaisupaineesta on Suomessakin käyty keskustelua erityisesti ihmistieteiden piirissä [21]. Toisaalta ulkopuolisen tutkimusrahoituksen osuuden kasvun takia tehtävistä ja rahoituksesta käytävään kilpailuun osallistuu entistä suurempi joukko tutkijakoulutuksen saaneita kotimaisia ja ulkomaisia tutkijoita.

Julkaisupaineen ja -tehtailun kokemukseen voivat vaikuttaa myös muutokset julkaisukäytännöissä, etenkin tutkimusyhteistyön ja yhteisjulkaisemisen kasvu. Tutkimuskysymysten, aineistojen ja työvälineiden luonne vaikuttaa olennaisesti siihen, missä määrin uusien tutkimustulosten tuottaminen edellyttää yhteistyötä. Kovissa tieteissä uusien tulosten tuottaminen usein vaatii entistä kalliimpia ja tehokkaampia laskenta- ja havaintolaitteita, sekä laajaa kansainvälistä yhteistyötä. Vastaavasti alojen välillä on eroja siinä, millainen työpanos käsitetään tekijyyden arvoisena kontribuutiona. Tekijyys on monilla aloilla edellyttänyt osallistumista tutkimukseen julkaisun kirjoittajana. Etenkin aloilla, joilla yhteistyö ja työjako tutkijoiden kesken on yleistynyt, tekijöiksi voidaan hyväksyä myös tutkijat, jotka ovat osallistuneet aineiston tuottamiseen, analyysiin tai tulkintaan, tai materiaalien, laitteistojen ja menetelmien kehittäjät [45].

Norjan kansalliseen julkaisuaineistoon perustuvassa tarkastelussa havaittiin vakinaisen opetus- ja tutkimushenkilöstön julkaisutuottavuuden nousseen välillä 2005–2007 ja 2011–2013 [35]. Julkaisutoiminnan kansainvälistä kehitystä koskevissa selvityksissä on kuitenkin todettu vallitsevan trendin olevan, että julkaisutuottavuus pysyy ennallaan, tai jopa laskee. Julkaisujen määrä maailmassa kasvaa samassa suhteessa kuin tutkijoiden lukumäärä, mutta tekijöiden lukumäärä julkaisua kohti on kasvussa [15][46][49]. Vaikka tutkijakunnan kokonaistuottavuus ei ole nousussa, samat julkaisut kuitenkin näkyvät yhä useamman tutkijan julkaisuluettelossa. Tämä luo vaikutelman tuottavuuden kasvusta, vaikka kyse on julkaisuyhteistyön lisääntymisestä [50].

Kirjallisuus

  1. (). Little science, big science- and beyond. New York: Columbia University Press. .
  2. , (). The rate of growth in scientific publication and the decline in coverage provided by Science Citation Index. Scientometrics 84(3), 575. https://doi.org/10.1007/s11192-010-0202-z
  3. , , (). Higher education and its communities: Interconnections, interdependencies and a research agenda. Higher Education 56(3), 303. https://doi.org/10.1007/s10734-008-9128-2
  4. (). Academic Research in Change. Transformation of Finnish University Policies and University Research during the 1990s. University of Tampere; The Finnish Society of Sciences and Letters. .
  5. (). University research performance: Influence of funding competition, policy steering and micro-level factors. Acta Universitatis Tamperensis: 1910. University of Tampere; Tampere University Press. . http://urn.fi/URN:ISBN:978-951-44-9389-8
  6. (). Yliopistojen tulosohjauksen kehittämistyöryhmä III. Opetusministeriön työryhmämuistioita ja selvityksiä 2005:24. Helsinki: Opetusministeriö. .
  7. History and Evolution of (Biblio)Metrics Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact. Cambridge, Massachusetts: MIT Press.
  8. (). Bibliometristen aineistojen käytettävyys yliopistojen julkaisujen laadun ja tuottavuuden arvioinnissa. Opetusministeriön julkaisuja 2007:2. Helsinki: Opetusministeriö. . http://urn.fi/URN:ISBN:978-952-485-280-7
  9. (). Performance-based university research funding systems. Research Policy 41(2), 251. https://doi.org/10.1016/j.respol.2011.09.007
  10. , (). Tieteellisten julkaisukanavien tasoluokitus: Julkaisufoorumi-hankkeen (2010-2012) loppuraportti. http://bit.ly/jufo-loppuraportti
  11. (). ”Ketä kiinnostaa tuottaa tutkintoja ja julkaisuja liukuhihnaperiaatteella…?” – Suoritusmittauksen vaikutukset tulosohjattujen yliopistojen tutkimus- ja opetustyöhön. . Turku: Suomen yliopistopaino. . http://urn.fi/URN:ISBN:978-952-249-342-2
  12. (). Social theory and social structure : toward the codification of theory and research. Glencoe: Free Press. .
  13. (). New Public Management: An Introduction. London: Routledge. .
  14. , , , , , , (). The Metric Tide: Literature Review (Supplementary Report I to the Independent Review of the Role of Metrics in Research Assessment and Management). HEFCE. . https://doi.org/10.13140/RG.2.1.5066.3520
  15. , , , , (). Researchers Individual Publication Rate Has Not Increased in a Century. PLOS ONE 11(3) https://doi.org/10.1371/journal.pone.0149504
  16. , (). Quantity and/or Quality? The Importance of Publishing Many Papers. PLoS ONE 11(11) https://doi.org/10.1371/journal.pone.0166149
  17. , (). Sosiologia-lehti – Johtava sosiologinen julkaisukanava. Sosiologia 48(1), 1.http://urn.fi/URN:NBN:fi:ELE-1524992
  18. (). Pääkirjoitus. Kosmopolis 41(3)http://urn.fi/URN:NBN:fi:ELE-1525364
  19. (). Julkaisuluokittelun politiikkaa: teknologia ideologiana. Politiikka 53(4)http://urn.fi/URN:NBN:fi:ELE-1519669
  20. (). Menneen talven lumia? : julkaisufoorumi ja ruotuunpanon politiikka. Politiikka 54(1), 94.http://urn.fi/URN:NBN:fi:ELE-1554426
  21. , , (). ”A1 alkuperäisartikkeli tieteellisessä aikakauslehdessä”. Uusien julkaisukäytänteiden omaksuminen ihmistieteissä 2000-luvulla.. Kasvatus & Aika 9(3), 149.http://urn.fi/URN:NBN:fi:ELE-1724195
  22. Nyt jufo-pisteitä keräämään! Professoriblogi. http://bit.ly/professoriblogi-2015-03-16
  23. (). Explaining Australia’s increased share of ISI publications - the effects of a funding formula based on publication counts. Research Policy 32(1), 143. https://doi.org/10.1016/S0048-7333(02)00007-0
  24. , , (). What happens when national research funding is linked to differentiated publication counts? A comparison of the Australian and Norwegian publication-based funding models. Research Evaluation 25(2), 1. https://doi.org/10.1093/reseval/rvv036
  25. , (). Julkaisukäytännöt eri tieteenaloilla. Opetusministeriön julkaisuja 2008:33. Helsinki: Opetusministeriö. . http://urn.fi/URN:ISBN:978-952-485-566-2
  26. (). Tieteen tila 2014 - yhteenveto. Helsinki: Suomen Akatemia. . http://bit.ly/tieteen-tila-2014
  27. (). Tieteen tila 2016. Helsinki: Suomen Akatemia. . http://bit.ly/tieteen-tila-2016
  28. , (). Näkökulmia Suomen tieteen kansainväliseen tasoon. Yhteiskuntapolitiikka 80(3), 64.http://urn.fi/URN:NBN:fi-fe2015060310001
  29. , (). An empirical study of scientific production: A cross country analysis, 1981–2002. Research Policy 37(4), 565. https://doi.org/10.1016/j.respol.2007.12.007
  30. (). Comparing Research at Nordic Universities using Bibliometric Indicators: Second report, covering the years 2000-2012. Oslo: Nordforsk. . http://bit.ly/nordforsk-2014
  31. , , Education, Research, and the Economy The Evaluation of the Finnish National Innovation System. Helsinki: Etla. http://bit.ly/evaluation-fi
  32. (). How incentives trickle down: Local use of a national bibliometric indicator system. Science and Public Policy 42(5), 725. https://doi.org/10.1093/scipol/scu087
  33. , , (). Impacts of performance-based research funding systems: The case of the Norwegian Publication Indicator. Research Evaluation 24(2), 106. https://doi.org/10.1093/reseval/rvv003
  34. , (). Performance-based funding models and researcher behavior: An analysis of the influence of the Norwegian Publication Indicator at the individual level. Research Evaluation 26(1), 371. https://doi.org/10.1093/reseval/rvv047
  35. , (). Explaining the increase in publication productivity among academic staff: a generational perspective. Studies in Higher Education 40(8), 1438. https://doi.org/10.1080/03075079.2015.1060711
  36. , , , (). Yliopisto: tieteen kehdosta projektimyllyksi? Yliopistollisen tutkimuksen muutos 1990-luvulla. Helsinki: Gaudeamus. .
  37. (). Effects of scholar’s gender and professional position on publishing productivity in different publication types. Analysis of a Finnish university. Scientometrics 82(2), 419. https://doi.org/10.1007/s11192-009-0037-7
  38. , (). Muuttuva akateeminen professio Suomessa - maaraportti. Tampere University Press. . http://urn.fi/urn:isbn:978-951-44-8122-2
  39. , , (). The changing academic profession : major findings of a comparative survey. Dordrecht: Springer. .
  40. , , (). Produce patents or journal articles? A cross-country comparison of R&D productivity change. Scientometrics 94(3), 833. https://doi.org/10.1007/s11192-012-0811-9
  41. , (). Efficiency, technology and productivity change in Australian universities, 1998-2003. Economics of Education Review 27(3), 285. https://doi.org/10.1016/j.econedurev.2006.09.012
  42. , (). Evaluering av den bibliometriske forskningsindikator. NIFU rapport 17/2012. Oslo: Nordisk institutt for studier av innovasjon, forskning og utdanning. . http://hdl.handle.net/11250/280879
  43. , , , , , (). The heterogeneous landscape of bibliometric indicators: Evaluating models for allocating resources at Swedish universities. Research Evaluation 25(3), 292. https://doi.org/10.1093/reseval/rvv040
  44. , Local use of a national rating of publication channels in Finnish universities Bibliometrics and Research Policy, Nordic Workshop (2016): NWB’2016 Posters. https://doi.org/10.6084/m9.figshare.c.3581330.v4
  45. , , , , , (). Contributorship and division of labor in knowledge production. Social Studies of Science 46(3), 417. https://doi.org/10.1177/0306312716650046
  46. , (). Towards Electronic Journals: Realities for Scientists, Librarians and Publishers. Washington, DC: Special Libraries Association. .
  47. , (). Dr Jekyll and Dr Hyde: author-reader asymmetries in scholarly publishing. Aslib Proceedings 54(3), 149. https://doi.org/10.1108/00012530210441692
  48. (). Citation analysis in research evaluation. Dordrecht: Springer. .
  49. , (). Publish or perish? The rise of the fractional author. Research Trends (38)https://www.researchtrends.com/issue-38-september-2014/publish-or-perish-the-rise-of-the-fractional-author/
  50. , , (). Inflationary bibliometric values: The role of scientific collaboration and the need for relative indicators in evaluative studies. Scientometrics 60(3), 421. https://doi.org/10.1023/b:scie.0000034384.35498.7d