Arja Virta
Najat Ouakrim-Soivio 2013. Toimivatko päättöarvioinnin kriteerit? Oppilaiden saamat arvosanat ja Opetushallituksen oppimistulosten seuranta-arviointi koulujen välisten osaamiserojen mittareina. Helsinki: Opetushallitus. 280 s. [viite-alku]1[/viite-alku]
Najat Ouakrim-Soivio käsittelee väitöskirjassaan oppilaiden saamien historian ja yhteiskuntaopin kouluarvosanojen vastaavuutta samojen oppiaineiden ulkoisen arvioinnin tuottamien tulosten kanssa. Tutkimusaihe on ajankohtainen ja kiinnostava, ja sillä on periaatteellista merkitystä koulutuksellisen tasa-arvon näkökulmasta.
Väitöskirjatutkimus pohjautuu Opetushallituksen toteuttamaan yhteiskuntaopin ja historian seuranta-arviointiin, joka oli näiden aineiden ensimmäinen valtakunnallinen arviointi. Väittelijä on osallistunut tämän arvioinnin suunnitteluun, toteuttamisen ja myös raportointiin. Arvioinnin tulokset on esitelty Najat Ouakrim-Soivion ja Jorma Kuuselan laatimassa seurantaraportissa Historian ja yhteiskuntaopin oppimistulokset perusopetuksen päättövaiheessa 2011.[viite-alku]2[/viite-alku]Väitöskirja on itsenäinen tähän laajaan aineistoon pohjautuva tutkimus, jossa analysoidaan hienojakoisesti seuranta-arvioinnin osoittamia ongelmia. Huomion kohteena ovat ne erot, joita ilmeni oppilaiden saamien, lomakkeessa ilmoittamien kouluarvosanojen ja seuranta-arviointimenestyksen välillä. Väitöskirja käsittelee ennen kaikkea yhteiskuntaopin arviointia, ja historian tulokset ovat mukana vertailukohtana.
Tutkimus ankkuroidaan otsikossa päättöarvioinnin kriteereihin ja niiden kautta myös opetussuunnitelmaan. Historian ja yhteiskuntaopin seuranta-arvioinnin koetehtävät oli muotoiltu Perusopetuksen opetussuunnitelman perusteiden (2004) päättöarvioinnin kriteerien perusteella. Nämä kriteerit, jotka määrittelevät oppilaan hyvän, eli arvosanan 8, mukaisen osaamisen, ovat sekä historiassa että yhteiskuntaopissa taitopainotteiset. Niinpä yhteiskuntaopin tehtävät kohdistuivat oppilaiden taitoon tulkita kriittisesti tilastoja, graafeja ja median välittämiä tietoja, perustella yhteiskunnallisia asioita ja ymmärtää yhteiskunnallisen päätöksen teon ja taloudellisten ratkaisujen vaihtoehtoja ja niiden vaikutuksia. Yhteiskuntaopin osaamisen yleistaso oli seuranta-arvioinnin mukaan kokonaisuudessaan kohtalainen ja oppilaat onnistuivat ratkaisemaan keskimäärin 64 prosenttia tehtävistä. Parhaiten he osasivat ratkaista tehtäviä, joissa piti perustella yhteiskunnallisia asioita (ratkaisuprosentti 78,6), heikommin taas tehtäviä, jotka edellyttivät tilastojen tai median välittämien viestien kriittistä tulkintaa. Lukioon suuntautuvat oppilaat menestyivät paremmin kuin ammatilliseen koulutukseen aikovat.
Väitöskirjan keskeisenä tavoitteena on ollut selvittää kahden arvioinnin, siis ulkopuolisen arvioinnin ja kouluarvosanojen, välisten erojen systemaattisuutta ja validiutta. Yhteiskuntaopin ja historian kannalta näkökulma on uusi. Tämän tutkimuksen tekee erityisen kiintoisaksi se, että saman arviointiaineiston yhteydessä on mahdollista verrata kahta oppiainetta. Vertailu ei ole aivan symmetrinen sikäli, että seuranta-arvioinnin kohderyhmä 9.-luokkalaiset eivät yleensä enää opiskelleet historiaa vaan keskittyivät yhteiskuntaoppiin. Väittelijä on ottanut tämän huomioon, ja tämän tutkimuksen painopiste olikin yhteiskuntaopin arvioinnissa.
Tutkimus on rakenteeltaan looginen. Teoreettiset luvut, joiden osuus on laajahko verrattuna tulososuuteen, sisältävät runsaasti kiintoisaa taustatietoa niin yhteiskuntaopin didaktiikasta kuin erilaisista arviointijärjestelmistäkin. Najat Ouakrim-Soivio on perehtynyt huolellisesti arvioinnin keskeiseen käsitteistöön ja tutkimustraditioon sekä kansainvälisen että kotimaisen kirjallisuuden perusteella. Hän tarkastelee asiantuntevasti neljää erilaista kansallista arviointikulttuuria ja -järjestelmää. Näitä ovat suomalaisen lisäksi ranskalainen, ruotsalainen ja yhdysvaltalainen arviointijärjestelmä. Tämä tarkastelu osoittaa, että tutkimuksen avainongelmaa arviointien validiudesta ei ole onnistuttu aukottomasti ratkaisemaan muissakaan tarkastelluista maista, olipa sitten kyse sentralisoidusta tai desentralisoidusta, kriteeripohjaisesta tai suhteellisesta arviointijärjestelmästä.
Ouakrim-Soivio pohtii yhteiskuntaopin arviointiin liittyviä ongelmia monitahoisesti ja tarkastelee myös suomalaista oppilaan arviointia koskevien säädösten ja käytänteiden esittelyä yleisesti ja yhteiskuntaopin näkökulmasta. Hän esittelee myös yhteiskuntaopin asemaa opetussuunnitelmissa, oppiaineen kehitystä sekä opettajien koulutustaustaa. Validiutta tarkasteleva luku 4 on väitöskirjan teoreettinen kulmakivi, joka luo perusteellisen ja monipuolisen katsauksen validiuden eli kohdepätevyyden ja luotettavuuden käsitteeseen. Lähteiden käyttö on huolellista, paikoin erittäinkin perusteellista, ja osoittaa hyvää perehtyneisyyttä lähdeaineistoon. Tutkimuksen kieliasu on kauttaaltaan hyvä.
Tutkimuksen empiirinen aineisto on tuore ja huomattavan laaja. Opetushallituksen toteuttamaan seuranta-arviointiin osallistui yli 4 000 oppilasta 109 koulusta. Valmiin, muuta tarkoitusta varten kootun aineiston hyödyntäminen on saattanut jossain määrin rajoittaa tutkijan mahdollisuuksia asettaa uusia kysymyksiä ja valita menetelmiään, mutta samalla tämä laaja aineisto avaa monia mahdollisia tarkastelukulmia. Väittelijä onkin onnistunut löytämään aidon ja tärkeän tutkimustehtävän valmiin aineiston pohjalta.
Kysymyksessä on taidokkaasti ja huolellisesti toteutettu empiirinen tutkimus, jossa on sovellettu vaativia tilastollisia analyysejä. Toulminin argumentaatiomallin soveltaminen täydentää tilastollista käsittelyä onnistuneesti. Tutkija on selvittänyt tarkoin aineiston luonteen, otantaperiaatteet ja tutkimusjoukon sekä tutkimuksen menetelmälliset ratkaisut. Tutkimuksen luotettavuuskysymyksiin on kiinnitetty asianmukaisesti huomiota. Tulokset on esitetty tiiviisti ja selkeästi. Kuviot ja taulukot ovat selkeitä ja havainnollisia.
Mikä sitten on vastaus otsikon kysymykseen: toimivatko päättöarvioinnin kriteerit? Kyllä ja ei. Jos verrataan oppilaskohtaisesti koko aineistossa oppilaiden saamia yhteiskuntaopin ja historian kouluarvosanoja ja heidän menestystään valtakunnallisessa seuranta-arvioinnissa, havaitaan selvää vastaavuutta. Myös koulujen sisällä vastaavuus näyttäisi olevan varsin hyvä annettujen arvosanojen ja seuranta-arviointitehtävien ratkaisuosuuksien välillä. Jos taas lähdetään tekemään vertailua koulujen välillä, löytyy systemaattisia eroja. Ongelma on juuri tässä. Sellaisia kouluja, joissa yhteiskuntaopin arvosanat olivat vähintään yhden numeron parempia kuin oppilaiden seuranta-arviointimenestys olisi edellyttänyt, oli 17, ja kouluja, joissa arvosanat olivat vastaavasti näitä tuloksia heikompia, oli 25 yhteensä 109 osallistuneesta koulusta. Oppilaiden tasa-arvoisen kohtelun periaate ei niin ollen ilmeisestikään täysin toteudu arvosanojen antamisessa eikä perusopetuksen päättöarvioinnin yhteiskuntaopin ja historian kriteereitä sovelleta yhdenmukaisesti eri kouluissa. Toulminin argumentaatiomallin avulla väittelijä todistaa, että seuranta-arviointi on ollut pätevämpi mittari kuin kouluissa annetut yhteiskuntaopin arvosanat, joiden osalta koulujen välisissä käytänteissä on horjuvuutta.
Tämän väitöskirjan tutkimusasetelma, tulokset ja johtopäätökset ovat tutkimuksellisesti kiinnostavia, mutta olisi tärkeää hyödyntää niitä myös käytännön arviointityössä ja yhteiskuntaopin arvioinnin kehittämisessä. Tutkimus jättää pohdittavaksi monia periaatteellisia ja käytännöllisiä kysymyksiä, esimerkiksi seuraavia: Millä perusteella yhteiskuntaopin arvosanat pitäisi antaa? Onko kaikki osaaminen mitattavissa eksaktisti? Edelleen, millainen merkitys voidaan antaa kannustavalle, oppilaan opiskelua ja kehitystä tukevalle arvioinnille ja miten voidaan sovittaa yhteen opiskelun aikainen arviointi ja päättöarvioinnin haasteet? Ovatko päättöarvioinnin kriteerit kohdallaan, ja miten ne saataisiin nykytilannetta paremmin osaksi koulutyötä? Nyt näyttää siltä, että arviointikriteereitä ei tunneta riittävästi. Kun seuranta-arvioinnissa opettajilta kysyttiin, mitä tavoitteita tai kriteereitä he pitivät tärkeimpinä, noin kolmannes jätti joko vastaamatta, vastasi, ettei tunne niitä, tai kirjoitti vastaukseksi sisältöä kuvaavan näkökohdan kriteerin tai tavoitteen asemesta. Arvioinnin etiikan ja oppilaiden tasa-arvoisen kohtelun näkökulmasta on tärkeää, että arviointiperusteita sovelletaan samalla tavoin eri kouluissa.
Viitteet
[viite-loppu]1[/viite-loppu] Teos saatavilla osoitteessa: http://www.oph.fi/julkaisut/2013/toimivatko_paattoarvioinnin_kriteerit
[viite-loppu]2[/viite-loppu] http://www.oph.fi/download/139945_Historian_
ja_yhteiskuntaopin_oppimistulokset_perusopetuksen_paattovaiheessa_2011.pdf