Kansallinen bibliometriikkaseminaari 2016

Terhi Sandgren

doi:10.23978/inf.63191

Abstract

Opetus- ja kulttuuriministeriö, Suomen yliopistokirjastojen neuvosto SYN, Helsingin yliopiston kirjasto ja CSC – Tieteen tietotekniikan keskus järjestivät bibliometriikkaseminaarin 16. joulukuuta 2016. Seminaaripäivän teemana oli tutkimuksen arviointi bibliometriikan näkökulmasta.

Kansallinen bibliometriikkaseminaari pidettiin Helsingissä perjantaina 16.12.2016¹. Järjestäjinä olivat opetus- ja kulttuuriministeriö, Suomen yliopistokirjastojen neuvosto, CSC – Tieteen tietotekniikan keskus ja Helsingin yliopiston kirjasto. Hyvin valmistellut esitykset takasivat mielenkiintoinen ja monipuolinen seminaarin, jossa käsiteltiin metriikoiden historiallista kehitystä, laatukysymyksiä periaatteellisella ja käytännöllisellä tasolla, metriikan tutkimusta ja käytössä olevia välineitä. Aiheita lähestyttiin paikallisesta, kansallisesta ja kansainvälisestä näkökulmasta.

Leidenin tutkimusmetriikkamanifesti

Seminaarissa julkistettiin Suomen yliopistokirjastojen neuvoston tutkimuksen tuen verkoston teettämät Leidenin manifestin suomen- ja ruotsinkieliset käännökset: Leidenin tutkimusmetriikkamanifesti ja Leidenmanifestet.² Alkuperäinen manifesti Leiden Manifesto for Research Metrics julkaistiin Nature-lehdessä huhtikuussa 2015 [1]. Manifestissä on esitetty tämänhetkiset parhaat käytännöt laadukkaan tutkimuksen arvioinnin toteuttamiseksi.

Bibliometriikan vaiheita Suomessa

Seminaarin ensimmäinen esitys oli Maria Forsmanin pitämä Bibliometriikka Suomessa 1970-luvulta 2010-luvulle. Se perustui hänen juuri ilmestyneeseen kirjaansa Julkaisut ja tieteen mittaaminen. Bibliometriikan käännekohtia [2]. Bibliometristen menetelmien käyttö erityisesti tutkimuksen arvioinnissa on vuosien saatossa yleistynyt. Bibliometriikan menetelmiä esim. yhteissana-analyysi, diffuusioanalyysi, verkostoanalyysi ja kvalitatiivinen bibliometriikka, on otettu käyttöön eri vuosikymmeninä Suomessa. Uudempia kiinnostavia menetelmiä ja tutkimuskohteita ovat webometriikkaa, datametriikkaa ja altmetriikkaa.

Bibliometriseen osaamiseen liittyvät kysymykset ovat tärkeä teema. Bibliometristen menetelmien käyttö – erityisesti mikäli näitä menetelmiä käytetään tutkimuksen arviointiin – vaatii hyvää ymmärrystä menetelmien rajoituksista. Ilman asianmukaista osaamista ja ymmärrystä bibliometristen analyysien tuloksille saatetaan antaa merkityksiä, joita niillä ei ole ja siitä johtuen jopa käyttää väärin. Maria Forsman pitikin tärkeänä yliopistoissa annettavaa bibliometriikan opetusta ja toisaalta bibliometrisen tutkimuksen turvaamista esimerkiksi riittävän rahoituksen avulla.

Kansalliset ja paikalliset bibliometriikkapalvelut tulevaisuudessa

Osion Kansalliset ja paikalliset bibliometriikkapalvelut tulevaisuudessa kaksi esitystä käsittelivät tieteen arvioinnissa ja kuvailussa käytettäviä tietolähteitä.

Jukka Haapamäen (opetus- ja kulttuuriministeriö) esityksessä OKM:n hallinnonalalle tarjoamat bibliometriikkapalvelut käsiteltiin bibliometriikan käyttöä tutkimuksen arvioinnissa opetus- ja kulttuuriministeriön näkökulmasta. OKM:n ja Suomen akatemian käytössä olevan tietopohja koostuu monesta eri aineistosta. OKM kerää itse julkaisutietoa yliopistoista, ammattikorkeakouluista, yliopistosairaaloista ja suurimmista tutkimuslaitoksista. Lisäksi OKM on hankkinut Web of Science- ja Scopus-tietokantojen raakadatan, joita se hyödyntää analyyseissään. Käytössä on laaja ja monipuolinen aineisto, josta olisi varmasti mahdollista saada vastauksia erilaisiin kysymyksiin. Jukka Haapamäki mainitsi, että kerätyn aineiston jatkoanalyysille olisi paljon tarvetta. Aineistosta tehtyjä raportteja korkeakoulujen ja tutkimuslaitosten käyttöön on saatavilla opetushallinnon Vipunen-tilastopalvelusta [3]. Esityksessä kerrottiin myös CSC:n roolista bibliometriikkapalveluiden tuottajana.

Yliopistojen näkökulmaa bibliometristen välineiden käyttöön toi Eva Isaksson Helsingin yliopistosta esityksessään Bibliometriikkatyökalujen hyödyntäminen yliopistossa. Hän kertoi InCites- ja SciVal-bibliometriikkatyökalujen hyödyntämistä suomalaisissa yliopistoissa. Syksyllä 2016 suomalaisille yliopistoille ja korkeakouluille tehtiin kysely tästä aiheesta SYN:in verkoston kautta. Kyselyssä tiedusteltiin käytettävistä tuotteista, käyttäjistä, käyttökohteista ja hinnan vaikutuksesta tuotteen valintaan.

Incites-työkalua käytettiin kuudessa yliopistossa, Scivalia kolmessa. Kummankin analyysityökalun käytön opettelu koettiin verrattain haastavana. Tämä on ymmärrettävää, aihe on itsessään monitahoinen ja edellyttää paljon erilaista taustatietoa aiheesta. Käyttötarkoituksia oli monia: välineitä käytettiin tutkimusalojen vertailuun, yksittäisen tutkijan profiilin tarkasteluun, erilaisten mittareiden laskemiseen, yliopiston hallinnon tarpeisiin, rahoitushakemusten tueksi ja julkaisutietojen tuomiseksi julkaisutietokantaan.

Erityisen mielenkiintoista oli työkalujen datan kattavuuden vertailu. Scival perustuu Elsevierin Scopus-tietokannassa käytettyyn dataan, InCitesissä hyödynnnetään Web of Science -tietokannan dataa. Vertailun tarkkuus kärsii tietokannoissa käytössä olevien tieteenalaluokitteluiden eroavaisuuksista, mutta voidaan kuitenkin todeta, että suomalaisessa kontekstissa ero tietokantojen välillä ei ole dramaattinen. Scival sisältää enemmän konferenssijulkaisuaineistoa, joka on tärkeää erityisesti tietojenkäsittelytieteissä ja teknisissä tieteissä.

Lopuksi Isaksson otti kantaa välineiden käytöstä paikallisesti tutkimuksen arviointiin: vaikka tutkimuksen arviointi olisi mahdollista tehdä kummalla tahansa välineellä paikallisesti, niin paikallisesti tehty analyysi ei ole puolueettoman tahon tekemä. Myös Isaksson korosti asiantuntijuuden merkitystä analyysitietokantojen käytössä: lukuja on saatavilla molemmilla välineillä helposti, mutta lukujen merkitys avautuu vasta asiantuntijan analyysin kautta.

Altmetriikan tutkimusta ja välineitä

Seminaarin kolmannessa osiossa tarkasteltiin altmetriikkaa eri näkökulmista.

Esityksessään Altmetrics – What We Know, What We Don't Know, and What We Need to Know Kim Holmberg käsitteli altmetriikan mahdollisuuksia ja rajoitteita. Holmberg työskentelee Turun yliopistossa Research Unit of Sociology of Education (RUSE)-yksikössä.

Eräs altmetriikan määritelmä on seuraava: "the study and use of scholarly impact measures based on activity in online tools and environments" [4]. Altmetriikan perusideana on sen seuraaminen mitä tapahtuu julkaisulle elektronisessa ympäristössä esim. kuinka sitä jaetaan ja kommentoidaan sosiaalisessa mediassa ja kuinka monta kertaa sitä on ladattu. Altmetriikan merkitys ja mahdolliset käyttötarkoitukset riippuvat käyttäjien – kustantajien, tutkijoiden ja organisaatioiden – näkökulmasta. Altmetriikka tuo ehdottomasti lisänäkökulman tieteellisen kommunikaation tutkimukseen, mutta vielä on paljon asioita, joita emme siitä tiedä.

Holmberg on kollegoineen tutkinut mm. astrofyysikkojen Twitterin käyttöä. Tieteen kulttuurisiin teorioihin liittyvässä Communications of attention and conversational networks –graafissa esitettiin minkälaiset henkilöryhmät ovat twiitanneet astrofysiikan aiheista. Henkilöryhmiä olivat esim. opettajat, organisaatiot ja muiden alojen tutkijat. Tutkimusta on tehty myös organisaation ominaisuuksien vaikutuksesta altmetriikan lukuihin ja avoimen julkaisemisen ja altmetriikan välisestä suhteesta. Myös tieteenalojen välisiä eroja twitterin käytössä on tutkittu. Holmberg pohti myös sitä minkälaisia tulkintoja altmetriikasta on mahdollista tehdä. Kim Holmbergin esitys oli vaikuttava ja sieltä löytää mittavan lukulistan altmetriikkaan ja tieteelliseen kommunikaatioon liittyen.

Jukka Englund Helsingin yliopiston kirjastosta kertoi esityksessään Altmetrics Ecosystem in the University of Helsinki Library - case example & discussion Helsingin yliopistossa käytettävissä olevista altmetriikan välineistä. Käytössä ovat PlumX, Altmetric ja Kudos. Käsiteltävänä oli se mitä näillä välineillä on mahdollista tehdä, kuinka ne liittyvät toisiinsa ja tutkimustietokanta Tuhatiin, avoimeen Helda-julkaisuarkistoon sekä ORCID-tutkijatunnisteeseen.

Kudos on väline, jonka avulla tutkijan on mahdollista edistää tutkimuksensa näkyvyyttä erilaisissa sosiaalisen median sovelluksissa. Almetric ja PlumX ovat puolestaan työkaluja, joilla artikkelin käyttöä tai vaikuttavuutta voidaan seurata lukuisissa eri lähteissä esim. uutisissa, sosiaalisessa mediassa, erilaisissa julkaisun jälkeisissä vertaisarvioinneissa, wikipediassa, erilaisissa suosituksissa ja säädöksissä, asiantuntijalausunnoissa ja toimintaohjeissa.

Tutkijoiden ja heidän julkaisujensa täsmällisen identifiointi on tärkeää. Jotta artikkelien käytön seuranta erilaisilla välineillä ja tulevaisuudessa tiedonsiirto eri välineiden välillä toimisi hyvin, on oleellista, että artikkeli, kirja tai tutkija on mahdollista tunnistaa täsmällisesti. Tämän mahdollistavat Digital Object Identifier- (DOI), International Standard Book Number- (ISBN) ja ORCID-tutkijatunnisteiden käyttäminen.

Bibliometriikka ja tutkimustietojärjestelmät

Erittäin innostavan esityksen – Bibliometrics and Current Research Information Systems – piti Gunnar Sivertsen Nordic Institute for Studies in Innovation, Research and Education (NIFU):sta.

Esityksen ensimmäinen osio käsitteli tutkimustietojärjestelmien ja tutkimusrahoituksen myöntämisen tapoja Euroopassa. Tutkimustietojärjestelmät ovat luonnollisesti keskeisessä asemassa tutkimusrahoitusjärjestelmissä. Niillä on monia rooleja: niissä hallinnoidaan ja säilytetään tietoa organisaatiossa tehdystä tutkimuksesta ja ne toimivat myös tiedotuksen ja tilastoinnin välineenä.

Eri tutkimustietojärjestelmissä olevat tiedot voidaan kerätä kansallisella tasolla yhteen. Sivertsen esitteli millaisia käytännön ratkaisuja on tehty eri maissa, Suomesta esimerkkinä oli Virta-palvelu. Bibliometriikkaa sovelletaan tutkimusrahoituksen myöntämisessä eri Euroopan maissa hieman eri tavoin. Mallien sopivuutta on tärkeää arvioida, näin tehtiin Norjassa ja arvioinnin perusteella tutkimusrahoitusmallia ja siihen kuuluvaa indikaattoria muokattiin. Arviointiprosessiin ja sen johtopäätöksiin voi tutustua vuonna 2014 ilmestyneen raportin ja muiden arvioinnista tehtyjen julkaisujen avulla [5][8]. Myös Sivertsen painotti bibliometriikan laadukasta soveltamista tutkimuksen arvioinnissa. Hän korosti, että indikaattorit ja mittarit, jotka on suunniteltu organisaatioiden vertailuun, eivät sovellu yksittäisten tutkijoiden arviointiin.

Bibliometriikasta kiinnostuneelle löytyy Pohjoismaissa ja Euroopassa aktiivinen yhteisö: tarjolla on bibliometriikan, tutkimustietojärjestelmien ja tutkimuksen arvioinnin organisaatioita, lehtiä ja konferensseja ja koulutuksia. Eräs konferensseista on Nordic Bibliometric Workshop, joka järjestetään ensi marraskuussa Helsingissä.

Paneelikeskustelu

Päivän summasi yhteen erinomaisesti onnistunut paneelikeskustelu: Bibliometrics and Publication Forum as criteria for research evaluation johon osallistui arvovaltainen joukko panelisteja: Lea Ryynänen-Karjalainen (Tieteellisten seurain valtuuskunta, paneelin puheenjohtaja), Otto Auranen (Suomen Akatemia), Keijo Hämäläinen (Helsingin yliopisto), Sari Kivistö (Tampereen yliopisto), Timo Korkeamäki (Hanken) ja Gunnar Sivertsen (NIFU). Panelistit käsittelivät päivän teemoja hauskasti ja rakentavasti kritiikkiä unohtamatta.