Kuva: Unsplash
Artikkelissa käsitellään tarkasteluajanjaksona matematiikan osaamista Suomen peruskoulussa niin kansainvälisten kuin kansallisten arviointien pohjalta. Lisäksi tarkastellaan peruskoulun opetussuunnitelmamuutosten vaikutusta tähän kehitykseen. Tutkimukseni mukaan Suomessa voimassaolevan opetussuunnitelman korostamien prosessien ja strategioiden oppiminen ei korvaa käsitteiden ja toimintojen oppimista. Myös kansainvälisesti on nähtävissä useampia matematiikan opettamisen päälinjoja, jotka artikkelissa tuodaan esille.
Kansainväliset arviointitutkimukset 1960-luvulta 2000-luvulle
Suomalaiset oppilaat ovat olleet mukana erilaisissa kansainvälisissä arviointitutkimuksissa 1960-luvulta lähtien. Ensimmäinen matematiikkatutkimus (FIMS) järjestettiin vuonna 1964. Toiseen matematiikan kansainväliseen koulusaavutustutkimukseen (SIMS) vuosina 1981-1982 osallistujia oli jo 20 maasta. Näissä suomalaisten oppilaiden osaamisen taso on ollut osallistujamaiden keskitasoa. Lähes kaikilla osa-alueilla menestyminen on ollut muihin osanottajamaihin verrattuna heikointa korkeampaa matemaattista ajattelua vaativassa luokassa. Sen sijaan menestyminen on ollut kansainvälistä keskitasoa laskutaitoa mittaavissa tehtävissä. Sama linja on jatkunut 1980-luvulla. Kansallisten ja kansainvälisten arviointien mukaan ajattelua, ymmärtämistä ja soveltamista vaativissa tehtävissä on suurempia puutteita kuin mekaanisten laskutehtävien hallitsemisessa.
Kassel-projektissa tutkittiin vuosina 1993-1996 peruskoulun yläasteen oppilaiden matematiikan osaamista. Kassel-testien tuloksista tehtiin Suomessa erikseen eurooppalainen vertailu, johon Suomen lisäksi osallistuivat Englanti, Kreikka, Norja, Saksa ja Unkari (Soro 1997; Soro & Pehkonen 1998). Tutkituista sisältöalueista algebran ja geometrian testeissä muiden vertailumaiden pistemäärät olivat tilastollisesti merkitsevästi paremmat kuin tilaston häntäpäätä edustaneilla Suomella ja Norjalla. Tutkimuksessa todettiin, että suomalaisilla oppilailla toisen tutkimusvuoden aikana osaaminen kasvoi hitaammin kuin englantilaisilla, saksalaisilla ja unkarilaisilla oppilailla, joilla osaamistason kasvu oli yli puolitoistakertainen suomalaisten oppilaiden osaamiseen verrattuna. Tutkimuksen perusteella suomalaiset oppilaat olivat algebran ja funktioiden osaamisessa noin yhden lukuvuoden jäljessä tutkimukseen osallistuneiden maiden oppilaiden keskiarvosta. TIMMS 1999-tutkimuksessa on tutkittu opetussuunnitelmapohjaista osaamista. Taso 5, mihin sijoitettiin 10 % parhaiten sijoittuneista, kuvasi parasta tasoa ja taso 1 heikointa matematiikan osaamisen tasoa. Tasolle 5 sijoittui Suomen oppilaista 6 %, kun parhaiten menestyneen Singaporen oppilaista sijoittui tälle tasolle 46 %. (Kupari ym. 2001, 23.)
Opetussuunnitelmat muuttuvat
Näihin haasteisiin alettiin Suomessa etsiä ratkaisua kognitiivisen psykologian tarjoamasta näkökulmasta. Vuonna 1985 siirryttiin Suomessa tasokursseista tuntikehysajatteluun tavoitteena antaa kaikille peruskoulun suorittaneille yhtäläiset mahdollisuudet opiskeluun peruskoulutuksen jälkeen. Opetussuunnitelman kehittämistä dynaamisena prosessina korostettiin. Tavoitteena oli ongelmanratkaisun keinoin kehittää ylemmän tason ajattelua.
Vuoden 1994 opetussuunnitelmassa tämä painotus näkyi matemaattisen ajattelun korostamisena. Tosin se, mitä matemaattisella ajattelulla opetussuunnitelmassa tarkoitettiin, jäi kunkin käyttäjän harkinnan varaan. Tarkoista sisältöluetteloista luovuttiin ja painotettiin oppimista prosessina. Taitoa lukea ja ymmärtää eri muodoissa esitettyä matemaattista informaatiota pidettiin teknistyneessä yhteiskunnassa keskeisessä asemassa, kuten Peruskoulun opetussuunnitelman perusteissa (1994) mainittiin. Samansuuntainen on seuraavassa luvussa tarkasteltavan PISA-arviointitutkimuksen tavoite tutkia matematiikan osaamista matemaattisena lukutaitona, kuten ´mathematical literacy´ usein suomennetaan.
Pisa – menestystarina?
PISA (Programme for International Students Assessment) -tutkimusohjelmaan osallistuu suomalaisia yhdeksäsluokkalaisia kolmen vuoden välein. Viimeinen raportoitu on vuodelta 2009. Alussa vuonna 2000 osallistujamaita oli 32, vuonna 2009 jo 65 maata tai aluetta. Vuoden 2003 PISA-tutkimuksessa Suomi oli matematiikassa OECD-maiden paras ja 2. kaikista osallistujista, vuonna 2009 OECD-maista 2. ja kaikista osallistujista 6. Edellä oli Aasian maita ja alueita.
PISA-arviointitutkimuksessa matematiikan perustiedot ja -taidot määritellään terminologian tuntemisena, faktatietoina sekä laskutoimitusten ja ratkaisumenetelmien käyttötaitoina. Nämä ovat väitöstutkimukseni (Näveri 2009) taksonomian tasoin arvioituina laskemistasoa, eivät analysoivaa eivätkä synteesejä muodostavaa tasoa. Vain tämä taso mahdollistaa uutta luovan ajattelun matematiikan kontekstissa. Siten PISA-tutkimuksen korkeamman tason ajattelu ei kohdistu matematiikan kontekstiin vaan niihin heuristiikkoihin, joilla oppilaat yhdistävät heille tuttua tietoa. Ajattelu on samansuuntainen, kuin oppimaan oppimis -ajattelussa, vaikkakin eri tasolla.
Helsingin yliopiston Koulutuksen arviointikeskus toteutti keväällä 2010 pääkaupunkiseudun kunnissa laajan kaikkia peruskoulun 3.-, 6.- ja 9.-luokkalaisia koskevan oppimaan oppimisen arvioinnin. Kun verrattiin yhdeksäsluokkalaisten tuloksia samassa kunnassa vuonna 2004 tehdyn arvioinnin tuloksiin, huomattiin oppilaiden osaamisen heikentyneen. Neljässä ankkuritehtävässä vain puolet oppilaista ylsi tasoon, jonka vuonna 2004 saavutti 75 % oppilaista. Niin PISA- kuin oppimaan oppimis -ajattelussakin tulee huomioida, että heuristiikkoja käytetään matematiikan kontekstissa sillä tasolla, joka on oppilaalle sisäistynyt. Tätä tasoa 9. luokkalaisten matemaattisen ajattelun testissä koulutuksen arviointikeskuksen raportti kuvaa: ”Tehtävät, joita oppilaat arvioinnissa ratkaisevat, on laadittu siten, että useimmat niistä eivät vaadi enempää varsinaista (koulu)osaamista kuin mitä viides- tai kuudesluokkalaiselta voidaan odottaa.”
Arviointikeskuksen tulokset myötäilevät PISA-tutkimuksessa vuonna 2009 havaittua hienoista heikentymistä suomalaisnuorten taidoissa (OECD 2010; Sulkunen ym. 2010), mutta heikentyminen vaikutti selvemmältä kuin PISA-tutkimuksessa.
Osaaminen murenemassa
Olen väitöstutkimuksessani (2009) verrannut peruskoulun 9. luokkalaisten, noin 15-vuotiaiden, osaamisessa 20 vuoden aikana tapahtuneita muutoksia Suomessa. Havaintoaineisto koostuu vuonna 1981 (N=351) ja vuonna 2003 (N = 412) kerätystä aineistosta. Koeolosuhteet olivat vertailuvuosina samat. Muun muassa 1980-luvun alussa olleiden tasokurssien mahdollisen poistumisen huomioimme huolehtimalla, että oppilaitoksen koko ikäluokka on tutkimuksessa mukana. Tutkimuksen kaikki testiosiot tehtiin ilman laskinta. Vuoden 2003 testiä ei muunnettu opetussuunnitelmaperusteiseksi ja käytetty niin sanottuja ankkuritehtäviä, koska tutkimus kohdistui näin myös opetussuunnitelmamuutoksiin. Tutkimuksen mittaristo koostui numeeriseen, numeerisella ja yleisellä tasolla oleviin rakenteisiin liittyvään testistöön. Lukija saa käsityksen osaamisen tasosta ja oppilaiden ajattelusta taulukossa 1 ja taulukossa 2 esitetyistä prosenttiosuuksista eri vastausvaihtoehdoille.
Taulukko 1. Vastausvaihtoehtojen prosenttiosuudet lausekkeelle (-3)2. N = 763
| (-3)2 = | -6 | -9 | 9 | 6 | ei mikään edellisistä |
| 1980-luku | 3,9 | 17,1 | 70,9 | 7,8 | 0,3 |
| 2000-luku | 10,3 | 32,3 | 47,5 | 7,2 | 1,4 |
Taulukon 1 ratkaisuprosentit kuvaavat koko numeerisen aineiston muutoksia ratkaisuprosenteissa. Tätäkin suurempi osaamisen lasku on tapahtunut murtolukujen osalta, 60-prosentin tasolta 30-prosentin tasolle. Huolestuttavaa on lisäksi se, että tutkimukseni mukaan käsitteelliselle tasolle murtolukujen peruslaskutoimituksissa ylsi 2000-luvun alun aineistossa vain noin 7 % oppilaista. Siten oppilaiden ajattelu jää proseduurien tasolle perustuen useissa tapauksissa muistamiseen.
Taulukon 2 vastausvaihtoehtojen prosenttiosuuksista nähdään oppilaiden visuaalinen perusta ratkaisuille. Numeerisessa esimerkissä korostuu kertolaskun 10 · 10 = 100 hahmottaminen ja vastaavasti lausekkeessa x4 * x5 kertolasku x * x = 2x
Taulukko 2. Yleisen rakennetestin pisteisiin eniten vaikuttaneet osiot. Vastausvaihtoehtojen prosenttiosuudet. N = 763
| 103 * 102 = | 1005 | 105 | 106 | 1006 | ei mikään edellisistä |
| 1980-luku | 10,5 | 72,5 | 11,2 | 2,3 | 2,3 |
| 2000-luku | 33,8 | 43,3*** | 5,5 | 9,3 | 6,4 |
| x4 * x5 = | 2×20 | x9 | 2x9 | 2x9 | ei mikään edellisistä |
| 1980-luku | 3,5 | 71,7 | 8,5 | 14,3 | 1,6 |
| 2000-luku | 11,9 | 47,3*** | 29,8 | 7,9 | 2,0 |
Tyttöjen osaaminen on tutkimukseni alueilla heikentynyt poikien osaamista enemmän. Heikoimmassa neljänneksessä muutokset olivat tilastollisesti erittäin merkitseviä kaikissa testiosioissa. Poikien osaaminen on parhaassa neljänneksessä heikentynyt 20 vuoden takaiseen osaamiseen verrattuna tilastollisesti erittäin merkitsevästi tutkimuksessa käytetyn taksonomian ylimmällä tasolla numeerista ja yleistä rakennetta mittaavissa testiosioissa. Lisäksi on huomattavaa, että tarkasteluajanjaksolla tyttöjen arvosanat ovat kohonneet poikien arvosanoja enemmän.
Kokonaisvaltainen oppimisprosessi
Usein kuulee keskusteltavan, kumpi on tärkeämpää, käsitteellinen osaaminen vai sujuva laskutaito. Tällöin unohdetaan, että oppiminen on kokonaisvaltainen prosessi. Oppimisen perusvaatimus tulisi olla ymmärtäminen. Tällainen ymmärtävän oppimisen tavoitteellisuus on perusteltavissa, sillä oppilaat, jotka muistavat tietoja ja proseduureja ymmärtämättä niitä, eivät ole varmoja, milloin ja miten heidän tulisi käyttää tietojansa ja siitä syystä heidän oppimisensa on pinnallista (Bransford, Brown & Cocking 1999, NCTM 2000, 20).
Muistin merkitys ymmärtävässä oppimisessa on lisännyt tarvetta oppia ymmärtämään muistamisen taustalla olevia mekanismeja sekä niitä rajoituksia, joita tähän toimintaan sisältyy. Muistilla on suuri merkitys ihmisen ajattelussa. Tiedon käsittelyä – tiedon tallentamista ja mieleen palauttamista – kuvataan usein prosessina, joka kattaa tiedon vastaanottamisen, työstämisen sekä tiedon käyttämisen.
Onnistuneessa oppimisprosessissa tietoisuuden aste vaihtelee prosessin eri vaiheissa. Kun tietoisesti ajattelemme jotain ongelmaa, käytämme työmuistiamme. Tällä on merkitystä oppimistilanteissa, joissa käsiteltävänä olevan tai muistettavan aineksen laajuus rajoittaa sen käsittelyä. Muistissa ei voida työstää samanaikaisesti kuin muutamaa informaatioyksikköä (engl. chunk) kerrallaan (Baddeley 2000). Tarvittava kapasiteetti vaihtelee tehtävän mukaan. Toinen vaikuttava tekijä on oppijalla käytettävissä olevien tiettyä aihetta koskevien informaatioyksiköiden laajuus.
On useita oppimisen teorioita, missä tietoisuuden aste vaihtelee prosessin eri vaiheissa. Ymmärtämiseen liittyy tietoinen ajattelu, mutta se, ja siis myös ymmärtäminen, ei oppimisessa riitä. Tarvitaan myös automatisoitumista. Automatisoitumisella tarkoitan sitä, että vakioisissa olosuhteissa tapahtuneen toiston ansiosta tehtävän suorittaminen helpottuu olennaisesti eikä kuormita enää samalla tavalla työmuistia kuin automatisoitumaton tieto. Tämä on välttämätöntä tiedon käsittelyssä työmuistin rajoitukset huomioon ottaen, jotta vapautettaisiin kapasiteettia uuden oppimiseen. Tällainen automatisoitunut tieto tulee perustua ymmärtävään kokemukseen. Sen perustelut tulee olla palautettavissa muistista tarvittaessa ja siksi erotan automatisoitumisen mekaanisesta laskemisesta. Kokonaisvaltaisessa oppimisprosessissa saavutetaan siis sekä ymmärtämiseen perustuva käsitteellinen ajattelu että sujuva automatisoitunut laskutaito.
Konkreetin ja yleisen tiedon suhteesta tarkasteluajanjaksolla
1970-luvulla kiinnitettiin huomiota matematiikan mahdollisuuksiin formaaleihin tavoitteisiin pyrittäessä, koska ajateltiin, että yleisellä tasolla oppiminen auttaa tiedon siirtymistä muihin konteksteihin. 1970-luvulla niin sanotun uuden matematiikan (New Math) avulla haluttiin vahvistaa yleisellä tasolla tapahtuvaa ajattelua. Kuitenkin 1980-luvulla jouduttiin pettymään siihen, miten heikosti suoraan yleisessä muodossa opittu asia siirtyi uusiin konteksteihin. Vaikutukset eivät olleet halutunlaisia.
Kaminskin (2008) tutkimusryhmä on vuonna 2008 raportoinut oppimiskokeesta, jossa kaikissa testeissä oppilaat, joille matematiikka opetettiin formaalille käsitteelliselle tasolle asti, pärjäsivät paremmin kuin he, joille opetettiin vastaava asia konkreetilla tasolla sovellustehtävien avulla.
Käsitteenmuodostusprosessi selittää nämä vaihtelut: 1970- ja 80-luvuilla tavoitteena opetuksessa oli käydä läpi proseduurin eri vaiheet, jotta oppilas voi suorittaa samat vaiheet itsenäisesti. Oppilaat oppivat toistamalla yleisessä muodossa opittuja asioita. Osaaminen jäi mekaaniseksi. Sen sijaan jos mahdollistetaan käsitteenmuodostus konkreetilla ja formaalilla tasolla, niin tällöin abduktiivinen, taaksepäin suuntautuva ajattelu tulee mahdolliseksi ja yleisellä tasolla olevan ajattelun voi soveltaa eri konteksteihin.
Kaminskin (2008) tutkimusryhmän tulkinnan mukaan oppimiskokeen kaikissa testeissä oppilaat, joille matematiikka opetettiin symboliselle tasolle asti, pärjäsivät paremmin kuin he, joille opetettiin vastaava asia vain konkreettien sovellustehtävien avulla. Tutkijaryhmän mukaan sanalliset tehtävät ovat tehokas väline sen mittaamiseen, onko oppilas sisäistänyt asian, mutta ne ovat huono tapa opettamiseen. Sen sijaan, jos oppilas on sisäistänyt asian yleisessä abstraktissa muodossa, niin hän pystyy soveltamaan sitä eri konteksteissa. Tutkimusryhmän raportin mukaan oppilaat siirtävät oppimansa helpommin uusiin olosuhteisiin, jos he ajattelevat abstrakteilla symboleilla. Näyttäisi, että 2010-luvulla Suomessa ollaan toistamassa 1970-luvun virhettä siinä, ettei nähdä mitä edellytyksiä on formaalin tason ymmärtävälle ajattelulle.
Myös PISA-tutkimuksessa on tarkasteltu erilaisten strategioiden käyttämistä (Väli-ärvi ym. 2001, 2002). PISA-raportin mukaan suomalaisilla oppilailla oman opiskelun kontrollointi oli selkeästi OECD-maiden keskitasoa vähäisempää. PISA 2000-arviointiraportissa oppilaat arvioivat myös strategioitaan, joita he soveltavat pyrkiessään omaksumaan ja säilyttämään uusia opittavia asioita. Tällöin erottui kaksi erilaista strategiaa; ensimmäinen kuvastaa pyrkimystä muistaa asioita käyttäen mekaanista toistamista ja ulkoa oppimista (muistamisstrategia) ja toinen oppilaan taipumusta arvioida ja kehittää uutta tietoa liittämällä sitä jo aiemmin omaksumaansa, elaborointistrategia. Matemaattisen tiedon omaksumisen asioiden mieleen painamisella ja tehtäviä toistavalla harjoittelulla todetaan PISA-raportissa Suomessa muistamisstrategian soveltamisen (keskiarvo – 0,19) olleen selvästi vähäisempää kuin OECD-maissa keskimäärin. Elaborointistrategian käytön kuvataan liittyvän korkeampiin kognitiivisiin strategioihin. Edellä mainitussa raportissa Suomessa elaborointistrategian käyttö (-0,14) oli vähän OECD-maiden keskiarvon alapuolella. Nämä tulokset tarkoittavat sekä automatisoitumisen tason että korkeamman ajattelun tason olleen suomalaisilla 9. luokkalaisilla vähän OECD-maiden keskiarvon alapuolella vuoden 2000 PISA-arvioinnissa.
Arvioinnin ohjaava vaikutus
Tutkimukseni tulosten perusteella on ongelmanratkaisussa matematiikan kontekstissa puutteita, mikä näkyy laskemistasoisina suorituksina. Arvioinnilla on ohjaava vaikutus. Näyttää, että 2000-luvun peruskoulun päättöluokkien opetussuunnitelmaperusteisessa koulutuksessa on arvioinnissa perusteena ollut tutkimukseni tehtäväalueista osittain poikkeava perusta. Opetushallituksen ”Koulutuksen ja tutkimuksen kehittämissuunnitelmassa vuosille 2007-2012” arvioinnin ohjaavaa vaikutusta korostetaan. Oppilasarvioinnissa havaittuja puutteita tullaan suunnitelman mukaan korjaamaan arvosanojen käytön perusteiden yhtenäistämiseksi ja oppilaiden oikeusturvan parantamiseksi erityisesti jatko-opintoihin pyrittäessä valmistelemalla perusopetukseen laatukriteerit mainittuna ajanjaksona. Tällä toimenpiteellä pyritään vaikuttamaan matematiikan arvosanoissa havaitun vinouman korjaamiseksi. Opetussuunnitelman tavoitteita muuttamatta arviointi kohdistuu opetussuunnitelman tavoitteiden mukaiseen oppimiseen ja on siten vaikutuksiltaan marginaalinen. Ongelmanratkaisun periaatteiden sisällyttäminen oppiainerajat ylittävien kontekstien lisäksi myös matematiikan kontekstiin ja tällaisen ajattelun kirkastaminen opetussuunnitelman perusteissa olisi vaikutuksiltaan laajakantoisempi.
Työelämän haasteet
”Kuinka hyvin nuoret ovat valmiita kohtaamaan tulevaisuuden arjen, työn ja elinikäisen oppimisen haasteet?” kysytään PISA-arviointiraportissa. Nämä ovat relevantteja kysymyksiä, koska tiedon määrän jatkuva kasvu ja vaatimus yhä monimutkaisempien ilmiöiden ymmärtämisestä vaikeuttaa perinteisiä opetus- ja oppimiskäytäntöjä (Hatano & Inagaki 1986; Bereiter & Scardamalia 1993).
Matematiikan perusopetukseen käytetään OECD-maissa keskimäärin 4,3 tuntia viikossa, Suomessa 2,6 tuntia. Median välittämiä PISA-tuloksia kuunnellessa ihmettelee, miten oppilaamme pääsevät niin hyviin tuloksiin niin pienellä tuntimäärällä? Näyttäisi siltä, että Suomessa peruskoulumatematiikka on PISA-matematiikkaa ja formaalin tason ajattelun saavuttamiseen aika ei ole riittänyt. Tämä on Suomen koulutuspolitiikan mukaista.
Formaalin ajattelun avulla oppilaat oppivat käsittelemään ei-numeerisia symboleja. Sen kautta he voivat oppia ymmärtämään ja käsittelemään asioita, joita ei voida suoraan havaita, ja oppia, mitä on abstrakti ajattelu. Tästä syystä algebraa pidetään yhtenä peruskoulun jälkeisen toisen asteen koulutuksen kannalta keskeisimpänä matematiikan osa-alueena. Tällä alueella on väitöstutkimukseni mukaan suomalaisilla 9. luokan päättävillä puutteita.
Läntisestä maailmasta kuuluu samansuuntaisia viestejä. Muun muassa U.S. Department of Education (2008) on tehnyt muistion, jossa algebran heikentynyt asema nostetaan esille. PISA-arviointitutkimuksessa Suomi oli vuonna 2009 kuudes. Kaikista osallistuneista maista edellä oli Aasian maita ja alueita. Näissä maissa substanssiosaaminen on ollut perinteisesti vahvaa. PISA-tutkimus antaa viitteitä, että myös erilaisten heuristiikkojen käyttäminen on vahvistunut kyseisissä maissa ja alueilla. Tämä tarkoittaa, että Aasian suunnalla oppilaat kykenevät käyttämään kehittyneitä strategioita korkeammalla matematiikan tasolla kuin länsimaiset ikäkaverinsa.
Lähteet:
Baddeley,A.D.The episodic buffer: a new component of working memory? Trends in Cognitive Sciences 4. 11 (November 2000): 417-423.
LiisaNäveri FT, tutkijatohtori Helsingin yliopisto
Bransford, J. D., Brown, A. L., & Cocking, R. R. (Eds.) 1999. How People Learn: Brain, Mind, Experience, and School. Washington, D.C.: National Academy Press.
Hatano, G., & Inagaki, K. 1986. Two courses of expertise. In H. Stevenson, H. Azuma & K. Hakuta (Eds.), Child development and education in Japan (pp. 263-272).
Kaminski,J., Sloutsky,V.,& Heckler,A. 2008. The Advantage of Abstract. Examples in Learning Math.Science 25. April 2008: Vol.320. no. 5875, 454-455.
National Council of Teachers of Mathematics (NCTM) 2000. Principles and Standards for
School Mathematics. Reston, VA: NCTM.
NBE 2004. Perusopetuksen opetussuunnitelman perusteet 2004 [Basics for the curriculum of the comprehensive school]. Opetushallitus. Vammala: Vammalan Kirjapaino Oy.
Näveri, L. 2009. Aritmetiikasta algebraan. Muutoksia osaamisessa peruskoulun päättöluokalla 20 vuoden aikana [From Arithmetic to Algebra. Changes in the skills in comprehensive school over 20 years]. Helsinki: Yliopistopaino.
Soro, R. & Pehkonen, E. 1998. KASSEL-projekti, osa 1: Peruskoulun oppilaiden matemaattiset taidot kansainvälisessä vertailussa. Helsingin yliopiston opettajankoulutuslaitos.
Tutkimuksia 197.
Välijärvi, J., Linnakylä, P., Kupari, P., Reinikainen, P., Malin, A., Puhakka, E. 2001.
Suomen tulevaisuuden osaajat. In http://ktl.jyu.fi/arkisto/verkkojulkaisuja/PISA-SIS.PDF.
Luettu 19.6.2011
Välijärvi, J., Linnakylä,P. (toim.). 2002.Tulevaisuuden osaajat. In http://ktl.jyu.fi/img/portal/15612/PISA-2000-paaraportti.pdf?cs=1249897776 Luettu 19.6.2011