Asiasana hallussa? – Opiskelijoiden tiedonhakukäyttäytyminen ja asiasanat osana sitä

Abstrakti

The study focuses on the information seeking behaviour of graduate students and the role of subject headings in it. The aim of the study was to see if students are aware of indexing. The motivation lies in the aim to simplicity of modern student information seeking behaviour, the need to use complex databases and to find relevant information, where indexing plays a crucial role. The study was conducted with six qualitative interviews. The findings indicate that student information seeking behaviour is simple and intuitive and subject headings have only a small role in it. Students lack understanding of information seeking terminology and profound awareness of organisation of information, which could help them in information seeking.

Lähdeviitteet

Allen, D. (2011). Information behavior and decision making in time-constrained practice: A dual-processing perspective. Journal of the American Society for Information Science and Technology, 62(11), 2165–2181. https://doi.org/10.1002/asi.21601
Bates, M. J. (1988). Online. Online, 12(6), 45–56.
Buckland, M. K. (2012). Obsolescence in subject description. Journal of Documentation, 68(2), 154–161. https://doi.org/10.1108/00220411211209168
Bulmer, M. (2008). The Ethics of Social Research. Teoksessa N. Gilbert (toim.), Researching social life (ss. 145–161). Los Angeles: SAGE Publications.
Case, D. O. (2008). Looking for information : a survey of research on information seeking, needs, and behavior (2. p., s. 423). Wagon Lane, Bingley: Emerald.
Catalano, A. (2013). Patterns of graduate students’ information seeking behavior: a meta‐synthesis of the literature. Journal of Documentation, 69(2), 243–274. https://doi.org/10.1108/00220411311300066
Chowdhury, G. G. (2009). Introduction to modern information retrieval (s. 488). London: Facet.
Dane, E., & Pratt, M. G. (2007). Exploring Intuition and its Role in Managerial Decision Making. Academy of Management Review, 32(1), 33–54. https://doi.org/10.5465/AMR.2007.23463682
Dougan, K. (2015). Finding the Right Notes: An Observational Study of Score and Recording Seeking Behaviors of Music Students. The Journal of Academic Librarianship, 41(1), 61–67. https://doi.org/10.1016/j.acalib.2014.09.013
Drabenstott, K. M., Simcox, S., & Fenton, E. G. (2011). End-User Understanding of Subject Headings in Library Catalogs. Library Resources & Technical Services, 43(3), 140–160. https://doi.org/10.5860/lrts.43n3.140
Ericsson, K. A., & Simon, H. A. (1980). Verbal reports as data. Psychological Review, 87(3), 215–251. https://doi.org/10.1037/0033-295X.87.3.215
Fielding, N., & Thomas, H. (2008). Qualitative Interviewing. Teoksessa N. Gilbert (toim.), Researching social life (ss. 245–265). Los Angeles: SAGE Publications.
George, C., Bright, A., Hurlbert, T., Linke, E. C., St. Clair, G., & Stein, J. (2006). Information research : an international electronic journal. Information Research, 11(4). http://www.informationr.net/ir/11-4/paper272.html
Grafstein, A. (2002). A discipline-based approach to information literacy. The Journal of Academic Librarianship, 28(4), 197–204. https://doi.org/10.1016/S0099-1333(02)00283-5
Gross, T., Taylor, A. G., & Joudrey, D. N. (2015). Still a Lot to Lose: The Role of Controlled Vocabulary in Keyword Searching. Cataloging & Classification Quarterly, 53(1), 1–39. https://doi.org/10.1080/01639374.2014.917447
Hartley, J., & Kostoff, R. N. (2003). How Useful are ’Key Words’ in Scientific Journals? Journal of Information Science, 29(5), 433–438. https://doi.org/10.1177/01655515030295008
Hjørland, B. (2001). Towards a theory of aboutness, subject, topicality, theme, domain, field, content . . . and relevance. Journal of the American Society for Information Science and Technology, 52(9), 774–778. https://doi.org/10.1002/asi.1131
Iannuzzi, P. (2000). Information Literacy Competency Standards for Higher Education. Community & Junior College Libraries, 9(4), 63–67. https://doi.org/10.1300/J107v09n04_09
Jagadish, H. V., Chapman, A., Elkiss, A., Jayapandian, M., Li, Y., Nandi, A., & Yu, C. (2007). Making database systems usable. Teoksessa Proceedings of the 2007 ACM SIGMOD international conference on Management of data - SIGMOD ’07 (s. 13). New York: ACM Press. https://doi.org/10.1145/1247480.1247483
Johnston, B., & Webber, S. (2003). Information Literacy in Higher Education: A review and case study. Studies in Higher Education, 28(3), 335–352. https://doi.org/10.1080/03075070309295
Koford, A. (2014). How Disability Studies Scholars Interact with Subject Headings. Cataloging & Classification Quarterly, 52(4), 388–411. https://doi.org/10.1080/01639374.2014.891288
Lappalainen, M., Nykyri, S., & Palonen, T. (2013). Semanttisesta ja funktionaalisesta tiedonhaun ja –tallennuksen ontologiasta: suomalaisen yleisontologian laadinnan haasteita. Informaatiotutkimus, 32(3-4). http://journal.fi/inf/article/view/9445
Lloyd, A. (2005). Information literacy. Journal of Librarianship and Information Science, 37(2), 82–88. https://doi.org/10.1177/0961000605055355
Lu, K., & Mao, J. (2015). An automatic approach to weighted subject indexing-an empirical study in the biomedical domain. Journal of the Association for Information Science and Technology, 66(9), 1776–1784. https://doi.org/10.1002/asi.23290
Mansourian, Y., & Ford, N. (2007a). Search persistence and failure on the web: a ”bounded rationality” and ”satisficing” analysis. Journal of Documentation, 63(5), 680–701. https://doi.org/10.1108/00220410710827754
Mansourian, Y., & Ford, N. (2007b). Web searchers’ attributions of success and failure: an empirical study. Journal of Documentation, 63(5), 659–679. https://doi.org/10.1108/00220410710827745
Markey, K. (2007). Twenty-five years of end-user searching, Part 2: Future research directions. Journal of the American Society for Information Science and Technology, 58(8), 1123–1130. https://doi.org/10.1002/asi.20601
Martzoukou, K. (2005). A review of Web information seeking research: considerations of method and foci of interest. Information research, 10(2). http://www.informationr.net/ir/10-2/paper215.html
Miller, C. C., & Ireland, R. D. (2005). Intuition in strategic decision making: Friend or foe in the fast-paced 21st century? Academy of Management Perspectives, 19(1), 19–30. https://doi.org/10.5465/AME.2005.15841948
Monchaux, S., Amadieu, F., Chevalier, A., & Mariné, C. (2015). Query strategies during information searching: Effects of prior domain knowledge and complexity of the information problems to be solved. Information Processing & Management, 51(5), 557–569. https://doi.org/10.1016/j.ipm.2015.05.004
Nicholas, D., Huntington, P., Jamali, H. R., Rowlands, I., & Fieldhouse, M. (2009). Student digital information‐seeking behaviour in context. Journal of Documentation, 65(1), 106–132. https://doi.org/10.1108/00220410910926149
O’Neill, E. T., Bennett, R., & Kammerer, K. (2014). Using Authorities to Improve Subject Searches. Cataloging & Classification Quarterly, 52(1), 6–19. https://doi.org/10.1080/01639374.2013.850018
Rieh, S. Y., Collins-Thompson, K., Hansen, P., & Lee, H.-J. (2016). Towards searching as a learning process: A review of current perspectives and future directions. Journal of Information Science, 42(1), 19–34. https://doi.org/10.1177/0165551515615841
Rowlands, I., Nicholas, D., Williams, P., Huntington, P., Fieldhouse, M., Gunter, B., … Tenopir, C. (2008). The Google generation: the information behaviour of the researcher of the future. Aslib Proceedings, 60(4), 290–310. https://doi.org/10.1108/00012530810887953
Rowley, J. E., & Hartley, R. J. (2008). Organizing knowledge: an introduction to managing access to information. Aldershot: Ashgate.
Ruokolainen, H. (2016). Att slänga sökord: studerandes informationssökningsbeteende med fokus på ämnesord (tutkielma). Åbo Akademi. http://urn.fi/URN:NBN:fi-fe2016082322954
Sinclair, M., & Ashkanasy, N. M. (2005). Intuition: Myth or a Decision-making Tool? Management Learning, 36(3), 353–370. https://doi.org/10.1177/1350507605055351
Suominen, V. (2004). Grammaattis-luokituksellinen johdatus dokumentaaristen sisältöjen rekonstruktioon ja tuntemukseen : metodologia, metodiikka ja illustraatio (s. 145). Oulu: Oulun yliopisto.
Sutcliffe, A. G., Ennis, M., & Watkinson, S. J. (2000). Empirical studies of end-user information searching. Journal of the American Society for Information Science, 51(13), 1211–1231. https://doi.org/10.1002/1097-4571(2000)9999:9999<::AID-ASI1033>3.0.CO;2-5
SYN & AMKIT. (2013). Suositus Suomen korkeakouluille: informaatiolukutaito korkeakouluopinnoissa. http://yliopistokirjastot.fi/wp-content/uploads/2015/06/ILsuositus{\_}FI.pdf
Taylor, A. G. (2004). The organization of information (s. 417). Westport (Conn.): Libraries Unlimited.
Thong, J. Y., Hong, W., Tam, K.-Y., & TAM, K.-Y. (2002). Understanding user acceptance of digital libraries: what are the roles of interface characteristics, organizational context, and individual differences? International Journal of Human-Computer Studies, 57(3), 215–242. https://doi.org/10.1016/S1071-5819(02)91024-4
Voorbij, H. J. (1998). Title keywords and subject descriptors: a comparison of subject search entries of books in the humanities and social sciences. Journal of Documentation, 54(4), 466–476. https://doi.org/10.1108/EUM0000000007178
Wilson, T. (1999). Models in information behaviour research. Journal of Documentation, 55(3), 249–270. https://doi.org/10.1108/EUM0000000007145
Xu, Y., & Yin, H. (2008). Novelty and topicality in interactive information retrieval. Journal of the American Society for Information Science and Technology, 59(2), 201–215. https://doi.org/10.1002/asi.20709
Julkaistu
2017-04-12
Viittaaminen
Ruokolainen, H. (2017). Asiasana hallussa? – Opiskelijoiden tiedonhakukäyttäytyminen ja asiasanat osana sitä. Informaatiotutkimus, 36(1). https://doi.org/10.23978/inf.63188
Osasto
Artikkelit

Opiskelijoiden tiedonhakukäyttäytyminen on nopeuteen ja helppouteen pyrkivää. Heidän täytyy kuitenkin opinnoissaan hakea tietoa usein Googlea monimutkaisemmista tietokannoista, mikä vaatii tiedonhakutaitoja. Kuvailutermien, kuten asia- ja avainsanojen, käytöllä sisällönkuvailussa pyritään siihen, että aineistot ovat tiedonhakijan löydettävissä. Yllättäen indeksoinnin ja opiskelijoiden tiedonhakukäyttäytymisen välistä suhdetta ei kuitenkaan juurikaan ole tutkittu. Tässä artikkelissa tutkitaankin, onko asiasanoilla jonkinlainen rooli opiskelijoiden luonnollisessa tiedonhakukäyttäytymisessä.

Artikkeli pohjautuu pro gradu -tutkielmaan [1]. Tutkimus toteutettiin haastattelututkimuksena, joka sisälsi opiskelijoiden omia tiedonhakutehtäviä. Sitä varten haastateltiin kuutta Åbo Akademin logopedian opiskelijaa, jotka hakivat tietoa pro gradu -tutkielmaa varten. Tarkoitus oli tutkia, ovatko asiasanat osa heidän tiedonhakukäyttäytymistään, kuinka tietoisia opiskelijat ovat asiasanoista, millaisia piirteitä tiedonhakukäyttäytymisessä yleisesti on ja miten nämä piirteet selittävät asiasanojen käyttöä tai käyttämättömyyttä.

Opiskelijoiden tiedonhakukäyttäytyminen ja informaatiolukutaito

Tiedonhakukäyttäytymisen tutkimus on osa informaatiokäyttäytymisen tutkimusta. Informaatiokäyttäytyminen koostuu ihmisen aktiviteeteistä, kun hän määrittää tiedontarpeita, etsii tietoa ja käyttää tai välittää sitä [2]. Paitsi tiedonhakuun se viittaa myös muuhun aktiiviseen ja passiiviseen tiedon ympärillä tapahtuvaan toimintaan [3]. Tiedonhakukäyttäytyminen on taas profiili käyttäjien tavasta hakea tietoa kontekstissa [4]. Tässä tutkimuksessa konteksti on seuraava: opiskelijat tekevät tiedonhakuja verkossa löytääkseen lähteitä tutkielmaansa, ja tässä artikkelissa käsitellään pääasiassa aineistosta esiin nousseita opiskelijoiden tekemiä ja kuvailemia tietokantahakuja verkon kautta.

Opiskelijoiden tiedonhakukäyttäytymistä on tutkittu paljon. Heidän tiedonhakukäyttäytymisessään ja hakustrategioissaan on yleensä paljon yksittäisiä eroja [5] ja se sisältää usein sekä hyviä että huonoja strategioita [6]. Yhteistä on internethakujen suosiminen [5][7][8] ja helpoimman mahdollisen resurssin valinta; lähteinä käytetäänkin mieluiten verkkolehtiä ja kokotekstiartikkeleja [5][7]. Mieluinen hakustrategia on viittausketjujen seuraaminen [8], ja opiskelijat käyttävät hakuihin yleensä ensisijaisesti Google-hakukonetta [5]. [9] käyttää nuoresta sukupolvesta, joka haluaa hakea tietoa yksinkertaisesti, termiä Google-sukupolvi, jonka informaatiokäyttäytyminen on horisontaalisesti ”hyppelehtivää” (bouncing), eli lähteitä ja tietokantoja tarkastellaan vain pintapuolisesti syventymättä itse sisältöön. Tiedonhaku lopetetaan, kun tarpeeksi hyvä lähde on löydetty [7][10].

Opiskelijat eivät mielellään käytä tiedonhaussa tarkennettuja hakutekniikoita, eivätkä välttämättä edes ole tietoisia niistä [8], tai niitä käytetään väärin [11]. [12] toteaa, että opiskelijoilla on vaikeuksia tiedonhaussa, mutta samalla he yliarvioivat omat taitonsa, mikä johtaa siihen, ettei tiedonhakuun panosteta eikä tiedonhakuja arvioida kriittisesti. Pyrkimys päästä tiedonhausta vähällä vaivalla johtaa usein suurempaan vaivannäköön [13].

Tiedonhakuun liittyy olennaisesti päätöksenteko, joka voi olla intuitiivista. Intuitio on järjestyksetöntä tiedon prosessointia, jossa tunteilla on vahva rooli ja joka johtaa tietotaitoon ilman, että prosessi olisi sisältänyt tietoista järkeilyä [14]. Intuitiivinen päätöksenteko on yleensä nopeaa [15]. Intuitioon turvautumista kasvattaa epävarmuus, kuten kasvava tiedon määrä [16] tai tilanteet, joissa käyttäjällä ei ole tarpeeksi aikaa tai resursseja käytössään [14]. Toisaalta intuitio voi myös olla toimiva tapa, jos kyse on automatisoituneesta asiantuntijuudesta, eli tietotaito riittää nopeaan päätöksentekoon [17].

Tiedonhaun opetus parantaisi opiskelijoiden tiedonhakutaitoja, mutta he pyrkivät usein välttämään sitä ja harjoittelua [8][11][18]. Lisäksi tärkeitä ovat oman oppiaineen tuntemus [5], kielelliset taidot [19], tietotekniset taidot [8] ja opiskelijan oma luottamus niihin [20]. Tieteenala ja oppiaine vaikuttavat opiskelijoiden tiedonhakukäyttäytymiseen, tiedonhaku vaihteleekin paljon aloittain, ja oman oppiaineen henkilökunta on usein myös tärkeä tiedonlähde [5][8].

Opiskelijoiden tiedonhakuun vaikuttaa myös siihen käytetyn järjestelmän käyttöliittymä, mitä on tutkittu yllättävän vähän, ja olemassa oleva tutkimus on pääasiassa internetin alkuajoilta. Enemmän huomiota on saanut se, että informaatiokäyttäytymisen tulisi vaikuttaa tietokantojen suunnitteluun. Tiedonhaun interaktiivisen luonteen vuoksi järjestelmä voi jopa muuttaa alkuperäisen tiedontarpeen [4]. Tietokannan näkyvyys, oletettu helppokäyttöisyys ja hyödyllisyys vaikuttavat siihen, mikä ja miten tietokanta otetaan käyttöön [20]. Käyttäjä on kontaktissa sekä graafisen että tekstipohjaisen käyttöliittymän kanssa [21]. Tietokannassa käytetty terminologia on hyvä esimerkki jälkimmäisestä. Käyttäjän ja järjestelmän välillä voikin vallita semanttinen etäisyys [6], joka koskee hakutoiminnoissa ja indeksoinnissa käytettyä terminologiaa [20].

Informaatiolukutaidolla tarkoitetaan kykyä tunnistaa tiedontarve, etsiä ja paikantaa tietoa ja arvioida kriittisesti ja käyttää löydettyä tietoa [22]. Opiskelija tarvitsee informaatiolukutaitoa opinnoissa ja myöhemmin työelämässä [23]. Tärkeä osa informaatiolukutaitoa on elinikäisen oppimisen käsite. Oman tieteenalan faktatietojen hallinta ei tiedon suuren määrän vuoksi ole enää mahdollista, vaan opiskelijoiden on opittava itsensä kehittämistä ja uuden tiedon omaksumista, ja tässä kriittisellä ajattelulla ja arviointikyvyllä on tärkeä rooli [24]. Monet kritisoivat tapaa opettaa informaatiolukutaidon nimissä ”kirjastotaitoja” tai teknisiä taitoja [24][26].

Asiasanat ja tiedonhaku

Asiasanat ovat indeksointikielen sanoja, jotka kuvaavat sitä, mitä dokumentti käsittelee (aboutness) [27]. Aboutness-käsitteen voidaan katsoa myös ilmaisevan, mistä kuvailukohteessa on kyse ilmaisten sen ydinsanoman, ja sisällönkuvailussa kohteen sisältö ja aboutness määritellään – ja pelkistetään – niin, että se on hakukysymysten avulla löydettävissä [28]. Aboutness on aina tulkinta ja sosiaalinen konstruktio [29][30], mutta indeksointi on mahdollista, koska useammat ihmiset voivat olla samaa mieltä sisällöstä ja ydinsanomasta [31]. [28] pitääkin ydinsanomaa itse tekstin ominaisuutena.

Asiasanat voivat olla auktorisoituja, jolloin ne esitetään kontrolloidussa sanastossa: asiasanastossa, tesauruksessa tai ontologiassa [32]. Auktorisoimattomia luonnollisen kielen kuvailusanoja kutsutaan yleensä avainsanoiksi (keywords), ja niiden käyttö perustuu olettamukseen, että kirjoittaja ja käyttäjä käyttävät samaa käsitettä kuvaamaan samaa ilmiötä, eli tekstin ydinsanomaa [32]. Vaikka avainsanojen käyttö on yleistynyt, tarvitaan monien mielestä auktorisoituja asiasanoja luonnollisen kielen aiheuttamien ongelmien, kuten synonyymien, vuoksi [33][35].

Tämän tutkimuksen kannalta merkittävintä ei ole, ovatko kuvailutermit auktorisoituja ja miten ne on luotu, vaan se, miten opiskelijat käsittävät termit, käyttävät niitä ja asennoituvat niihin. Tässä artikkelissa tuloksia esitellessä avainsanoilla viitataan pääasiassa artikkeleissa oleviin kuvailutermeihin, asiasanoilla taas asiasanahakuun tai bibliografisessa tietueessa oleviin kuvailutermeihin.

Indeksoinnin lähtökohtana Drabenstottin ym. [36] mukaan tulisi aina olla se, että käyttäjä hyötyy siitä, mutta indeksoinnin ja käyttäjien tiedonhakukäyttäytymisen yhteyttä on tutkittu vain vähän. [36] tutkivat, ymmärtävätkö käyttäjät yksittäisten asiasanojen merkityksiä, ja [30] tutki, pitävätkö käyttäjät käytettyä indeksointia hyvänä. Vaikka on havaittu, etteivät käyttäjät itse ole taitavia käyttämään asiasanoja [36][37], ja toisaalta asiasanojen tarpeellisuutta nykypäivänäkin on korostettu [35], ei tutkimuksissa ole otettu huomioon sitä, että käyttäjät eivät mahdollisesti ole (riittävän) tietoisia käyttämään asiasanoja tiedonhaussa. Myöskään mahdollisuutta niiden käyttämiseen toisin kuin niitä on tarkoitus käyttää ei ole otettu tutkimuksissa huomioon.

O’Neillin [37] mukaan asiasanoja voitaisiin käyttää tehokkaasti apuna tiedonhaussa, ja ne voivat antaa käyttäjälle tietoa, jota bibliografinen tietue ei pysty tarjoamaan. Asiasanojen on havaittu tehostavan hakuja, vaikka käyttäjä ei itse käyttäisi asiasanoja [35][38]. Toisaalta käyttäjät eivät välttämättä ymmärrä yksittäisten asiasanojen merkitystä [36], verkkokirjastot voivat olla vaikeita yksinkertaisiin hakuihin tottuneille käyttäjille [35], ja ne onkin usein suunniteltu kokeneille käyttäjille [37]. Suuri osa hauista kohdistuu sähköisiin artikkeleihin, joiden indeksointi voi vaihdella lehdestä ja tietokannasta riippuen [39]. Käyttäjille tiedonhaku merkitsee uuden kielen opettelua ja kirjastoterminologian ymmärrystä [40], vaikka käyttäjät mieluummin tekisivät hakuja luonnollisella kielellä [9]. Asiasanoja ei käytetä, jos niiden tarkastaminen vie liian kauan, mutta niiden käyttöä voidaan tehostaa integroimalla tesaurus järjestelmään [6].

Sen puolesta, että opiskelijat ymmärtäisivät asiasanojen funktion ja osaisivat käyttää niitä, puhuvat esimerkiksi [24], jonka mukaan informaatiolukutaitoiset ihmiset tietävät, miten tieto on organisoitu, ja [41], joka painottaa käyttäjän ymmärryksen tärkeyttä siitä, miten tietokanta toimii ja miten aineisto on sieltä löydettävissä.

Tutkimuskysymykset ja -menetelmät

Asiasanojen ja tiedonhaun yhteyttä on tutkittu yllättävän vähän, etenkin osana luonnollista tiedonhakukäyttäytymistä, eli ei tutkijan luomien tehtävien avulla. Tärkeää ei olekaan vain tutkia, osaavatko opiskelijat käyttää tiettyä hakutekniikkaa tai -toimintoa, vaan tekevätkö he aktiivisen valinnan käyttää niitä apuna tiedonhaussa. Siksi on olennaista myös tutkia, miten tietoisia opiskelijat ovat asiasanoista. Tutkimuskysymykset ovat: Millaista on opiskelijoiden luonnollinen tiedonhakukäyttäytyminen, ja onko asiasanoilla rooli siinä? Ovatko opiskelijat tietoisia asiasanoista ja niiden merkityksestä tiedonhaulle ja organisoinnille? Mitkä tekijät näyttävät liittyvän opiskelijoiden taipumukseen hyödyntää asiasanoja tiedonhaussa?

Tutkimus toteutettiin kvalitatiivisesti puolisstrukturoiduin haastatteluin [42]. Haastatteluja varten laadittiin suuntaa antava haastattelurunko. Opiskelijat näyttivät haastattelujen aikana heidän todellisiin tiedontarpeisiinsa perustuvia tiedonhakutehtäviä [43], joiden tarkoituksena oli saada haastateltavat puhumaan laajemmin tiedonhauistaan. Tehtäviä käytettiin haastattelujen tukena eikä tutkittu itsessään. Haastateltavia pyydettiin kertomaan ääneen tiedonhauistaan think-aloud-metodin [44] mukaan.

Vaikka tutkimuskohdetta olisi syytä informoida tutkimuksen tarkoituksesta [45], ei asiasanoja mainittu haastattelujen yhteydessä. Ensinnäkin oli tärkeää saada tietää, kuinka tietoisia haastateltavat olivat asiasanoista, toiseksi tutkia niitä osana heidän luonnollista tiedonhakukäyttäytymistään. Katsottiin olevan mielenkiintoista, jos haastateltavat eivät puhu asiasanoista. Haastatteluissa haluttiin myös antaa mahdollisuus siihen, että esiin voi nousta myös käyttötapoja, jotka eivät olleet ennalta tiedossa tai tuttuja.

Tutkimusta varten haastateltiin kuutta Åbo Akademin logopedian opiskelijaa, jotka kirjoittivat pro gradu -tutkielmaa. Opiskelijoilla oli tutkielman myötä todellisia tiedonhakutarpeita. Samanlainen tausta opinnoissa oli tärkeä, jotta tiedonhakuja pystyttiin vertailemaan ilman oppiaineiden luomia eroja. Opetuksen vaikutusta pystyttiin tutkimaan, sillä kaikki Åbo Akademin logopedian opiskelijat osallistuvat tiedonhaun opetukseen kandidaattiseminaarien yhteydessä.

Haastattelut tehtiin marraskuun 2015 ja helmikuun 2016 välillä Åbo Akademilla multimediahuoneessa. Camtasia-ohjelman avulla tehtiin äänitallenne ja näyttökaappaus. Tallenteet litteroitiin ja koodattiin NVivo-ohjelman avulla.

Osana tutkimusta vierailtiin Åbo Akademin kirjaston järjestämässä logopedian opiskelijoille suunnatussa koulutustilaisuudessa syyskuussa 2015. Koulutustilaisuudessa käsiteltiin eri tietokantoja ja tiedonhaun tekniikoita. Opiskelijoille näytettiin kaksi tesaurusta, Allärs ja MeSH1, ja miten niitä voi käyttää tiedonhaussa. Tilaisuudessa ei selitetty eksplisiittisesti, mitä asiasanat ovat.

Tiedonhakukäyttäytymisen piirteitä

Haastateltavien tiedonhakukäyttäytyminen käy pääasiassa yksiin aiemman tutkimuksen kanssa. Haastateltavat käyttivät tiedonhakuun vain muutamia tietokantoja, jotka olivat pitkälti samoja, joihin he olivat tutustuneet tiedonhaun opetuksen yhteydessä, eli Google Scholaria, Nelli-portaalia2, Almaa ja Googlea. Yleisesti ottaen he tuntuivat valitsevan tietokannan sattumanvaraisesti tai intuitiivisesti. Haastateltavat käyttivät Google Scholaria, yleensä Nellin asemesta, ennen kaikkea sen nopeuden vuoksi: ”musta Nelli on niin hidas, että kiinnostus lopahtaa… alan facebookata”3 (haastateltava 6). Nopeus ja helppous olivatkin merkittäviä heille tiedonhaussa. Haastateltava 1 totesi: ”Google Scholar on kyllä se, jossa yleensä nopeasti… vaan heitän hakusanoja sinne”. Nämä esimerkit kuvastavat hyvin myös nykypäivän fragmentoitua, kärsimätöntä ja horisontaalista tiedonhakukäyttäytymistä [9].

Viittausketjujen seuraaminen oli suosittu hakustrategia, mutta tulosten esittelyssä keskitytään asiasanojen kannalta mielenkiintoisiin avoimiin sanahakuihin. Tietokannasta riippumatta he suosivat yksinkertaisia Google-tyyppisiä hakuja, jossa hakusanat sijoitetaan hakukenttään ilman muiden hakutoimintojen valitsemista. Vain yksi haastateltavista teki fraasihakuja. Haut tehtiin pääasiassa englanniksi, ja haastateltavat käyttivät koko prosessin aikana pääsääntöisesti vain muutamaa hakusanaa, jotka olivat oman tutkielman avainkäsitteitä: ”Kirjoitan nyt vaan esimerkiksi [bilingual]. Ja nyt pitäisi käyttää sellaista katkaisumerkkiä tai muita juttuja, mutta ne mä olen unohtanut” (haastateltava 1). Hakuja ei juurikaan muokattu tai rajattu jälkikäteen, mutta jotkut haastateltavat lisäsivät täsmentäviä hakusanoja, kuten children tai treatment, jos hakutuloksia oli liian paljon. Vaikka haastateltavat olisivat valinneet tarkennetun haun esimerkiksi Nellissä, hakivat he pääsääntöisesti samalla tavalla, eli ”heittämällä” hakusanoja. Haastateltavat totesivat lopettavansa tiedonhaun, kun löysivät tarpeeksi hyvän lähteen.

Tiedonhaun ongelmiksi mainittiin tietokantojen virheet, hakusanat, hakujen rajaaminen sekä se, ettei aineistoon päästy käsiksi. Vaikka relevantti artikkeli ei olisi ollut saatavilla, pitivät he hakua onnistuneena, koska artikkeli oli löydetty. Etenkin Nelliä pidettiin hankalana käyttää, ja siellä olevat virheet haittasivat tiedonhakua. Haastateltavat kokivat, etteivät voineet tehdä mitään ongelmien tullessa vastaan. Hakusanojen valinta koettiin ongelmalliseksi ennen kaikkea kielen takia: haastateltavat hakivat tietoa englanniksi mutta kirjoittivat tutkielmaansa ruotsiksi, ja vastaavia käsitteitä oli vaikea löytää. Haastateltavat eivät myöskään kokeneet osaavansa varioida hakusanoja, mikä näkyi myös siinä, miten vähän hakusanoja käytettiin koko prosessin aikana. Hakusanaongelmat ratkaistiin yleensä sanakirjan avulla, hakemalla termejä Googlesta tai käyttämällä Google Translate -käännöspalvelua.

Haastateltavien tiedonhakukäyttäytymiseen vaikuttavia tekijöitä olivat tiedonhaun opetus ja tiedonhakutaidot, oppiaine logopedia ja tietokannan käyttöliittymä. Tekijöiden vaikutus oli myös paikka paikoin ristiriitainen, kuten esimerkiksi Nellin kohdalla. Haastateltavat käyttivät sitä suhteellisen paljon ehkäpä juuri opetuksen vuoksi, vaikka sen käytettävyys oli heidän mielestään melko huono.

Tiedonhaun opetukseen viitattiin usein, etenkin puhuttaessa eri hakutekniikoista tai -toiminnoista. Haastateltavat mainitsivat oppineensa Boolen logiikan ja katkaisumerkin käytön, mutta he eivät joko enää osanneet käyttää niitä tai he muistivat käytön väärin. Kukaan haastateltava ei maininnut asiasanoja puhuessaan tiedonhaun opetuksesta.

Opetus nähtiin normatiivisena, ja haastateltavat kokivat, että heidän pitäisi osata hakea tietoa samalla tavalla kuin koulutustilaisuudessa oli näytetty, ja omia taitoja peilattiin tähän normiin: ”Kandin yhteydessä oli sellainen kurssi ja siellä opittiin aika paljon. Silloin osasin aika hyvin. Nyt olen unohtanut jo paljon, ei ne [taidot] ole enää niin tuoreena muistissa” (haastateltava 2). Toisaalta haastateltavat kokivat löytävänsä tarpeeksi lähteitä vähemmilläkin taidoilla ja olivat pääasiassa tyytyväisiä lopputulokseen, vaikka tiedonhaku olisikin sisältänyt turhautumisen hetkiä. He myös yhdistivät tiedonhaun ennen kaikkea tutkielman kirjoittamiseen ja tiedonhaussa käyttämiinsä tietokantoihin, eivätkä kokeneet tarvitsevansa tietoja tulevaisuudessa.

Oppiaineen vaikutus näkyi ennen kaikkea lähteiden valinnan kohdalla. Haastateltavat valitsivat pääasiassa elektronisia artikkelilähteitä painettujen kirjojen sijaan, ja valintaa perusteltiin oppiaineen ohjeilla. Lähteitä arvioitiin pääasiassa julkaisumuodon ja vuosiluvun mukaan, ei ensisijaisesti sisällöllisen relevanssin perusteella.

Käyttöliittymän vaikutus näkyi ennen kaikkea terminologian ja asiasanojen käytön kohdalla. Eri hakutoimintojen valinta oli haastavaa juuri terminologian takia. ”Olen myös hakenut täällä [Almassa] asiasanoilla. En oikeastaan tiedä yhtään, onko selauksen ja vapaahaun4 välillä jotain eroa. […] Olen vaan valinnut jommankumman” (haastateltava 5). Tietokantojen terminologiaa tai käytettävyyttä ei kuitenkaan Nellin virheitä lukuun ottamatta arvioitu.

Käyttöliittymä vaikutti myös siihen, mihin haastateltavat kiinnittivät huomiota haun tulosten yhteydessä ja avaamissaan artikkeleissa. He paikansivat usein artikkelin nimen, kirjoittajan, ilmestymisvuoden ja saatavuuden kokotekstinä nopeasti, mutta muihin tietoihin, kuten asia- ja avainsanoihin, he kiinnittivät huomiota vain, jos ne olivat selvästi esille graafisessa käyttöliittymässä, ja muuten he ohittivat nopeasti tiedot, joita eivät kokeneet tarvitsevansa.

Asiasanat osana tiedonhakukäyttäytymistä

Kolme kuudesta haastateltavasta mainitsi haastattelussa asiasanat ja kolme käytti niitä. Yksikään opiskelija ei käyttänyt tesauruksia, asiasanastoja tai ontologioita eikä maininnut niitä haastattelujen yhteydessä. Useimmiten asiasanat mainittiin opiskelijoiden tehdessä asiasanahakuja. Hakutapa tunnuttiin valittavan tunnepohjalta, intuitiivisesti: ”Mulla on tunne, että saan esille enemmän artikkeleja, jos valitsen asiasanat enkä nimekettä. En tiedä, pitääkö se paikkansa, mutta siksi valitsen asiasanat.” (haastateltava 4). Usein toisaalta käyttöliittymä ohjasi valintaa; haastateltavat tutkivat pudotusvalikosta eri hakuvaihtoehtoja, joista he valitsivat sopivimmalta – tai vähiten epäsopivimmalta – tuntuvan vaihtoehdon.

Osa haastateltavista kiinnitti myös huomiota asia- ja avainsanoihin tietueissa tai artikkeleissa. Usein he tarkistivat ne, jotta näkisivät, käsitteleekö artikkeli sitä, mistä he etsivät tietoa. Sanoja ei pääasiassa käytetty uusissa hauissa, vaikka yksi haastateltavista mainitsikin tämän mahdollisuuden.

Tulokset haastateltavien tietoisuudesta asiasanojen funktiosta olivat osittain ristiriitaisia. Neljä haastateltavaa arveli, että asiasanoilla tai avainsanoilla on jokin yhteys siihen, miksi he löytävät jonkin tietyn lähteen: ”niissä on [hakusana] otsikossa tai sitten se on avainsanana artikkelissa” (haastateltava 4). Tämä tietoisuus ei kuitenkaan näkynyt konkreettisesti tiedonhakukäyttäytymisessä. Asiasanoja ei käytetty johdonmukaisesti tiedonhaussa, yhtään kontrolloitua sanastoa ei käytetty, eikä artikkelien tai tietueiden yhteydessä olleita asia- tai avainsanoja käytetty uusissa hauissa. Käsitteitä asiasana ja avainsana käytettiin toistensa synonyymeinä: ”Koska silloin se [hakusana] on artikkelissa asiasanana, avainsanana” (haastateltava 5). Asiasanahaun kohdalla hakuvaihtoehdot selaus ja vapaahaku olivat myös epäselviä. Mielenkiintoista oli myös se, etteivät asiasanat olleet jääneet mieleen opetuksesta. Vaikka haastateltavat tekivät jonkin verran asiasanahakuja ja asiasanoihin kiinnitettiin jonkin verran huomiota, eivät asiasanat olleet suuressa osassa heidän luonnollisessa tiedonhakukäyttäytymisessään.

Yhteenveto ja pohdinta

Asiasanojen rooli tiedonhakukäyttäytymisessä on pieni. Samalla tavalla myös muita tarkennettuja hakutekniikoita käytetään vähän. Opiskelijoiden tiedonhakukäyttäytyminen on nopeuteen ja helppouteen pyrkivää, ja sitä voi luonnehtia yksinkertaiseksi. Tehdessään avoimia sanahakuja opiskelijat käyttävät vain vähän hakusanoja ja hakevat käytännössä kaikissa tietokannoissa samalla tavalla. Heidän tiedonhakuaan värittää intuitio, mikä voi selittää hyppelehtivää ja nopeaa käytöstä [9]. Tämä näkyy myös asiasanojen käytön ja käyttämättömyyden kohdalla. He eivät hallitse tiedonhakuun liittyvää terminologiaa. Opiskelijat ovat jollain tasolla tietoisia asiasanoista ja niiden funktiosta, mutta tietoisuus ei juuri näy heidän tiedonhakukäyttäytymisessään.

Intuition suuri rooli on mielenkiintoinen ja yllättävä tulos, eikä sitä ole käsitelty juurikaan opiskelijoiden tiedonhakukäyttäytymisen yhteydessä. Intuitio näkyy etenkin opiskelijoiden ollessa kontaktissa käyttöliittymän kanssa. He eivät hallitse eri hakutekniikoita tai terminologiaa hyvin, mikä johtaa intuitiiviseen päätöksentekoon. Kyseessä on tällöin epävarmuudesta selviäminen [14][16] eikä automatisoitunut asiantuntijuus [17]. Intuitiivinen valinta käyttää asiasanahakua on mielenkiintoista siksikin, että asiasanojen käyttö edellyttäisi oikeastaan moniportaisempaa tiedonhakua, jos sen haluttaisiin olevan tehokasta. Toisaalta niiden vähäinen käyttö selittyy myös intuitiolla. Tässä näkyy hyvin ristiriitaisuus tiedonhakukäyttäytymisessä [6].

Terminologian hallitsemattomuus voi myös olla merkki siitä, että opiskelijat eivät hallitse tiedonhakua ja ole tietoisia siihen liittyvistä palasista. Juuri asiasanat ovat tästä hyvä esimerkki. Opiskelijat ovat jollain tasolla tietoisia asiasanoista ja niiden funktiosta, mutta se ei johda monipuolisempaan tiedonhakuun. Niiden vähäistä käyttöä voi toki selittää pyrkimys nopeaan tiedonhakuun [6] tai se, ettei eri resursseissa indeksoida samalla tavalla [39]. Nämä näkökulmat kuitenkin edellyttävät sitä, että opiskelijat tekisivät tietoisen valinnan asiasanojen kohdalla. Tästä ei näy merkkejä heidän tiedonhakukäyttäytymisessään, vaan päätökset tehdään tunnepohjalta.

Karkeasti jaettuna opiskelijoiden on mahdollista valita kaksi eri hakulinjaa: yleishakukoneen, kuten Google Scholarin, tai kirjaston verkkopalvelujen, kuten Nellin, käyttö. Ensimmäinen tapa mahdollistaa tieteenalarajojen ylittävät haut, mutta käytössä ovat vain perushakutoiminnot, eikä siis esimerkiksi asiasanojen aktiivinen käyttö hauissa ole mahdollista. Jälkimmäisessä taas hakutoimintoja on enemmän, mutta hakuympäristö on rajatumpi, ja haut toiminevatkin parhaiten tieteenaloilla, joilla on vain muutama kattava palvelu. Kirjaston verkkopalveluja käyttäville tietokannan syvällisempi tuntemus, myös ymmärrys asiasanoista, on tarpeellista. Google Scholar -hauista selvinnee ilman tätä. Näitä hakuvaihtoehtoja ja niiden eroja ei tässä varsinaisesti tutkittu, mutta oli selvästi havaittavissa, että opiskelijat itse näkivät Google Scholarin ja Nellin toisilleen vaihtoehtoisina, mutta eivät välttämättä edellä kuvatun jakolinjan mukaan. He eivät tehneet tietoista valintaa siitä, mitä hakukonetta he käyttivät ja mihin tarkoitukseen, vaan tätäkin valintaa väritti intuitio.

Tietoisuudella voidaankin nähdä olevan merkitystä tiedonhaulle: osatakseen hakea tilanteeseen sopivista tietokannoista sopivilla strategioilla ja tekniikoilla – monimutkaisilla tai yksinkertaisilla – on opiskelijoiden hyvä ymmärtää, miten tieto on organisoitu, miten ja miksi he löytävät tietoa ja miten sitä voi etsiä tehokkaasti. Tämä kytkeytyy informaatiolukutaitoon ja tiedonhaun opetukseen, jossa esimerkiksi Grafsteinin [24] mukaan tulisi korostua kriittinen ajattelu ja arviointikyky. Yleinen kriittisen arvioinnin puute näkyy opiskelijoiden tiedonhakukäyttäytymisessä, ja opiskelijat itse näkevät tiedonhaun vain ”kirjastotaitoina”, joita ei voi soveltaa muualle tai ei tarvita tulevaisuudessa. Opiskelijat selviävät käytännössä tiedonhausta myös vähäisemmin taidoin, mutta se ei tee heistä välttämättä taitavia tiedonhakijoita.

Opiskelijoiden tiedonhakuun vaikuttavia tekijöitä ovat tiedonhaun opetus, oppiaine sekä tietokanta ja sen käyttöliittymä, ja näillä voidaankin halutessa vaikuttaa opiskelijoiden taitoihin. Tietokantojen kehittäminen käyttäjäystävälliseen suuntaan – ja tesaurusten ja ontologioiden integroiminen tietokantaan – on mahdollinen tapa tehostaa tiedonhakua. Haun yhteydessä voi esimerkiksi olla selkeämpiä hakuohjeita ja terminologian selityksiä, ja etenkin indeksoinnin perusteet eri tietokannoissa voivat olla näkyvissä. Tämä ei kuitenkaan yksin riitä. Suuri ongelma on terminologian hallinnan puute, ja sitä voi toisaalta selkeyttää mutta myös opettaa tiedostaen se, ettei kirjaston käyttämä terminologia aina ole luontaisesti ymmärrettävää opiskelijoille. Lisäksi opiskelijoiden on myös ymmärrettävä ilmiö termin takana – ja toisaalta erityistermin käytön tulee olla perusteltua. Tiedonhaun ja informaatiolukutaidon opetuksessa merkityksellistä on myös oppiaineiden ja kirjaston välinen yhteistyö, jolloin opetus ei jää irralliseksi tutkielman kirjoittamiseen liittyväksi osaksi opintoja. On myös hyvä huomioida, että eri tekijät voivat vaikuttaa jopa päinvastaisesti, jolloin hyvän yhteistyön merkitys korostuu.

Tutkimuksen perusteella ei voi yleistää kaikkien eri alojen opiskelijoiden tiedonhakukäyttäytymistä. Tutkimuksessa ei myöskään syvennytty informaatiolukutaidon moniin ulottuvuuksiin, joten sen käsittely väistämättä jäi opiskelijoiden tiedonhakutaitoja peilaavaksi käsitteeksi. Koska asiasanojen konkreettista käytöstä ja hyödyntämisestä tiedonhaussa saatiin vain vähän näyttöä, olisi tätä syytä tutkia lisää. Yleisesti ottaen indeksoinnin ja tiedonhaun suhdetta olisi hyvä tutkia eri näkökulmista. Tiedonhakukäyttäytymisen tutkimisessa tulisi ottaa huomioon tietoisuuden merkitys ja väärinkäytön mahdollisuus. Tässä tutkimuksessa ei otettu huomioon arkielämän informaatiokäyttäytymisen suhdetta tieteelliseen tiedonhakukäyttäytymiseen, eikä näin ollen ole tiedossa, käyttävätkö opiskelijat muuten kuvailutermejä, kuten tageja tai hashtageja. Olisikin mielenkiintoista tutkia, vaikuttaako niiden käyttö muuhun tiedonhakuun.

Lähteet

  1. (). Att slänga sökord: studerandes informationssökningsbeteende med fokus på ämnesord. http://urn.fi/URN:NBN:fi-fe2016082322954
  2. (). Models in information behaviour research. Journal of Documentation 55(3), 249. https://doi.org/10.1108/EUM0000000007145
  3. (). Looking for information : a survey of research on information seeking, needs, and behavior. Wagon Lane, Bingley: Emerald. .
  4. (). Introduction to modern information retrieval. London: Facet. .
  5. , , , , , (). Information research : an international electronic journal.. Information Research 11(4)http://www.informationr.net/ir/11-4/paper272.html
  6. , , (). Empirical studies of end-user information searching. Journal of the American Society for Information Science 51(13), 1211. https://doi.org/10.1002/1097-4571(2000)9999:9999<::AID-ASI1033>3.0.CO;2-5
  7. , , , , (). Student digital information‐seeking behaviour in context. Journal of Documentation 65(1), 106. https://doi.org/10.1108/00220410910926149
  8. (). Patterns of graduate students’ information seeking behavior: a meta‐synthesis of the literature. Journal of Documentation 69(2), 243. https://doi.org/10.1108/00220411311300066
  9. , , , , , , , , , (). The Google generation: the information behaviour of the researcher of the future. Aslib Proceedings 60(4), 290. https://doi.org/10.1108/00012530810887953
  10. , (). Web searchers’ attributions of success and failure: an empirical study. Journal of Documentation 63(5), 659. https://doi.org/10.1108/00220410710827745
  11. (). Twenty-five years of end-user searching, Part 2: Future research directions. Journal of the American Society for Information Science and Technology 58(8), 1123. https://doi.org/10.1002/asi.20601
  12. , , , (). Towards searching as a learning process: A review of current perspectives and future directions. Journal of Information Science 42(1), 19. https://doi.org/10.1177/0165551515615841
  13. (). Finding the Right Notes: An Observational Study of Score and Recording Seeking Behaviors of Music Students. The Journal of Academic Librarianship 41(1), 61. https://doi.org/10.1016/j.acalib.2014.09.013
  14. , (). Intuition: Myth or a Decision-making Tool?. Management Learning 36(3), 353. https://doi.org/10.1177/1350507605055351
  15. , (). Exploring Intuition and its Role in Managerial Decision Making. Academy of Management Review 32(1), 33. https://doi.org/10.5465/AMR.2007.23463682
  16. (). Information behavior and decision making in time-constrained practice: A dual-processing perspective. Journal of the American Society for Information Science and Technology 62(11), 2165. https://doi.org/10.1002/asi.21601
  17. , (). Intuition in strategic decision making: Friend or foe in the fast-paced 21st century?. Academy of Management Perspectives 19(1), 19. https://doi.org/10.5465/AME.2005.15841948
  18. , , , (). Query strategies during information searching: Effects of prior domain knowledge and complexity of the information problems to be solved. Information Processing & Management 51(5), 557. https://doi.org/10.1016/j.ipm.2015.05.004
  19. , (). Search persistence and failure on the web: a ”bounded rationality” and ”satisficing” analysis. Journal of Documentation 63(5), 680. https://doi.org/10.1108/00220410710827754
  20. , , , (). Understanding user acceptance of digital libraries: what are the roles of interface characteristics, organizational context, and individual differences?. International Journal of Human-Computer Studies 57(3), 215. https://doi.org/10.1016/S1071-5819(02)91024-4
  21. , , , , , , (). Making database systems usable. Proceedings of the 2007 ACM SIGMOD international conference on Management of data - SIGMOD ’07. https://doi.org/10.1145/1247480.1247483
  22. (). Information Literacy Competency Standards for Higher Education. Community & Junior College Libraries 9(4), 63. https://doi.org/10.1300/J107v09n04_09
  23. (). Suositus Suomen korkeakouluille: informaatiolukutaito korkeakouluopinnoissa.. http://yliopistokirjastot.fi/wp-content/uploads/2015/06/ILsuositus{\_}FI.pdf
  24. (). A discipline-based approach to information literacy. The Journal of Academic Librarianship 28(4), 197. https://doi.org/10.1016/S0099-1333(02)00283-5
  25. , (). Information Literacy in Higher Education: A review and case study. Studies in Higher Education 28(3), 335. https://doi.org/10.1080/03075070309295
  26. (). Information literacy. Journal of Librarianship and Information Science 37(2), 82. https://doi.org/10.1177/0961000605055355
  27. , (). Organizing knowledge: an introduction to managing access to information. Aldershot: Ashgate. .
  28. (). Grammaattis-luokituksellinen johdatus dokumentaaristen sisältöjen rekonstruktioon ja tuntemukseen : metodologia, metodiikka ja illustraatio. Oulu: Oulun yliopisto. .
  29. (). Towards a theory of aboutness, subject, topicality, theme, domain, field, content . . . and relevance. Journal of the American Society for Information Science and Technology 52(9), 774. https://doi.org/10.1002/asi.1131
  30. (). How Disability Studies Scholars Interact with Subject Headings. Cataloging & Classification Quarterly 52(4), 388. https://doi.org/10.1080/01639374.2014.891288
  31. , (). Novelty and topicality in interactive information retrieval. Journal of the American Society for Information Science and Technology 59(2), 201. https://doi.org/10.1002/asi.20709
  32. (). The organization of information. Westport (Conn.): Libraries Unlimited. .
  33. , , (). Semanttisesta ja funktionaalisesta tiedonhaun ja –tallennuksen ontologiasta: suomalaisen yleisontologian laadinnan haasteita. Informaatiotutkimus 32(3-4)http://journal.fi/inf/article/view/9445
  34. , (). An automatic approach to weighted subject indexing-an empirical study in the biomedical domain. Journal of the Association for Information Science and Technology 66(9), 1776. https://doi.org/10.1002/asi.23290
  35. , , (). Still a Lot to Lose: The Role of Controlled Vocabulary in Keyword Searching. Cataloging & Classification Quarterly 53(1), 1. https://doi.org/10.1080/01639374.2014.917447
  36. , , (). End-User Understanding of Subject Headings in Library Catalogs. Library Resources & Technical Services 43(3), 140. https://doi.org/10.5860/lrts.43n3.140
  37. , , (). Using Authorities to Improve Subject Searches. Cataloging & Classification Quarterly 52(1), 6. https://doi.org/10.1080/01639374.2013.850018
  38. (). Title keywords and subject descriptors: a comparison of subject search entries of books in the humanities and social sciences. Journal of Documentation 54(4), 466. https://doi.org/10.1108/EUM0000000007178
  39. , (). How Useful are ’Key Words’ in Scientific Journals?. Journal of Information Science 29(5), 433. https://doi.org/10.1177/01655515030295008
  40. (). Obsolescence in subject description. Journal of Documentation 68(2), 154. https://doi.org/10.1108/00220411211209168
  41. (). Online.. Online 12(6), 45.
  42. , (). Qualitative Interviewing. Researching social life.
  43. (). A review of Web information seeking research: considerations of method and foci of interest. Information research 10(2)http://www.informationr.net/ir/10-2/paper215.html
  44. , (). Verbal reports as data. Psychological Review 87(3), 215. https://doi.org/10.1037/0033-295X.87.3.215
  45. (). The Ethics of Social Research. Researching social life.
Allmän tesaurus på svenska, Yleisen suomalaisen asiasanaston YSAn ruotsinkielinen käännös, ja Medical Subject Headings.
Nelli-portaali (Nelli) oli syksyyn 2016 asti korkeakoulukirjastojen yhteinen tiedonhakupalvelu, jonka kautta oli mahdollista suorittaa hakuja useassa tietokannassa samanaikaisesti. Haastateltavat eivät tehneet eroa Nellin ja muiden tietokantojen välillä, joten tutkimuksessa sitä käsitellään tietokantana.
Kirjoittajan suomennokset ruotsinkielisestä haastatteluaineistosta.
Alkuperäisessä bläddra ja fritext.