Verenpaineen nousua ja riumunkiljahduksia. Vertaisarvioinnista

Samalla kun tässä jännittää, minkälaista palautetta on taas luvassa eräästä artikkelikäsikirjoituksestani, niin voisi olla hyvä hetki kerätä yhteen kokemuksiani vertaisarvioinnista ja mitä mietteitä tästä tutkimuksen laadunvarmistajasta on vuosien varrella kertynyt. Hieman taustaksi niille, jotka ovat autuaallisen tietämättömiä tästä tutkijan elämän puolesta, vertaisarvioinnilla tarkoitetaan siis kaikessa lyhykäisyydessään sitä, että tieteelliseen aikakauslehteen julkaistavaksi tarjotun artikkelin arvioi lehden toimittajien lisäksi yksi, kaksi tai jopa kolme anonyymia ”asiantuntijaa” eli refereetä, jotka kirjoittavat käsikirjoituksesta lausunnon jatkotoimenpide-ehdotuksineen. Jatkotoimenpiteinä suositetaan yleensä joko hyväksymistä vähin muutoksin, kannustamista korjatun version lähettämiseen eli ns. "revise and resubmit" tai hylkäämistä ilman valitusoikeutta. Näin siis ainakin meillä humanistisella puolella.

Laskeskelin, että olen saanut tutkijanurani aikana luettavakseni varmasti kolmisen sataa refereepalautetta, lähinnä artikkelikäsikirjoituksistani, mutta onpa joukossa yksi monografia ja kirjoituskokoelmakin. Aluksi hyvät uutiset.  Vaikka palautetta läpikäydessä verenpaine onkin ollut usein aika kovilla, olen oppinut aivan valtaisasti tästä palautemassasta: tiukentamaan argumentointia, kehittämään ongelmanasettelun rakentamista eli purkamaan paremmin auki ”what’s at stake” niin kuin englanniksi sanotaan, poistamaan turhat rönsyt ja keskittymään olennaiseen etc. Koska olen tarjonnut säännöllisesti artikkeleita vertaisarvioituihin aikakauslehtiin jo jatko-opintojeni alusta lähtien, voisi sanoa, että kyseessä on kohta 15 vuotta kestänyt oma kuukauden parin välein kokoontuva virtuaalinen tutkijaseminaarini.

Erityisesti mieltä lämmittää sellainen palaute, jossa artikkelin perusjujua pidetään tärkeänä tai jopa merkittävänä, mutta arvioija silti esittää lukuisia aidosti hyviä parannusehdotuksia esimerkiksi juuri yllämainittuihin seikkoihin ja pystyy myös perustelemaan niiden tarpeellisuuden. Tällöin palautteesta välittyy arvioijan aito innostuneisuus artikkelia kohtaan ja palaset ovat kohdallaan sellaiselle prosessille, jota amerikkalaisfilosofi John Dewey nimittäisi kasvuksi (growth). Ja sitten kun sama arvioija vielä kiittelee uuden version lausunnossaan, miten hyvin kirjoittaja on ottanut hänen korjausehdotuksensa huomioon, niin taas vaihteeksi tuntuu, että joku tuolla ymmärtää minua. Nousee hauska anonyymiuden verhon taakse vetäytyvä yhteyden tunne.

Mutta aina prosessi ei ole näin ruusuinen. Eteen sattuu myös epäpäteviä tai jopa epäammattimaisia lausuntoja. Joskus lausunnoista ei voi olla tulematta vaikutelma, ettei arvioija ole edes kunnolla lukenut tekstiä. Esimerkiksi viime vuoden lopussa eräs arvioija piti yhden artikkelitarjokkaani heikkona kohtana sitä, että en käsittele siinä ollenkaan ”filosofia X”, joka on hänestä aiheen keskeisimpiä tutkijoita. Väite hieman ihmetytti, kun Wordin finderin mukaan mainitsen kyseisen filosofin artikkelissa 18 kertaa, usein vielä tarkan viitteen kera, ja hänen nimensä esiintyy niin artikkelin abstraktissa kuin asiasanoissa. Tässä prosessissa ei kyllä tullut kirjoittaja eikä arvioija hullua hurskaammaksi; molempia taisi ottaa päähän. Arvioijan syitä voin vain arvailla.

Samanlaisia lausuntoja on tietenkin ehtinyt tulla matkan varrelle lukuisia lisää. Joskus lausunnosta huomaa, että on jostain syystä osunut arvioijan arkaan paikkaan ja arvioija lähinnä vain sättii kirjoituksen maanrakoon purkamatta artikkelin heikkouksia mitenkään tarkemmin auki. Lyhyin tämän tyylinen saamani lausunto kuului: ”Lacks knowledge of fundamental philosophical issues.” Mitä tuohon nyt enää lisäämään? Murskaavien lausuntojen tekijän henkilöllisyyttähän ei joskus tarvitse hirveästi arvailla; yleensä arvioija on se, jonka nimi esiintyy lausunnossa tiheimmin. Toisille tuo itsestä kirjoittaminen kolmannessa persoonassa ei ole niin vaikeaa kuin toisille.

Vaikein tielleni sattunut palautepala purtavaksi koski väitöskirjani pohjalta tekemääni kirjaa. Sen käsikirjoituksen toinen arvioija nimittäin lyttäsi aivan täysin. Tätä arviota oli kyllä pakko lukea hammasta purren ja huuli väpättäen, olihan kuitenkin kyseessä kuuden vuoden ahkeroinnin tulos. Arvioijan nimi oli myös hyvin helppo arvata, koska hän tuntui hikeentyneen juuri siitä, että ”filosofi y:n” uusimpia kirjoituksia ei ollut käsikirjoituksen relevanteissa kohdissa otettu huomioon. Tässä ”filosofi y” oli kyllä aivan oikeassa, mutta ehkä puutteen olisi kuitenkin voinut muotoilla ammattimaisemmin ja miettiä tarkemmin, miten merkittävästä puutteesta käsikirjoituksen kokonaisuuden huomioon ottaen oli oikeasti kyse, sen sijaan, että ilmoittaa jättävänsä käsikirjoituksen lukemisen puoleenväliin, koska ”elämä on liian lyhyt”.

Mutta niin se on maailma pieni, että kun hain ensimmäistä kertaa professuuria, niin ”filosofi y” sattuikin yhdeksi hakijoiden asiantuntijaksi. Viimeistään siinä vaiheessa tajusin mahdollisuuksieni menneen. Kyseinen haku oli itse asiassa vain neljä vuotta väitökseni jälkeen, joten en nyt muutenkaan uskonut niihin sen ihmeemmin. Silti asiantuntijalausuntojen avaaminen jännitti aika lailla. Ehkä ”filosofi y” suosittaa peräti alanvaihtoa. Hämmästykseni olikin varsin suuri, kun nyt ”filosofi y” kiitteli tutkimustoimintaani varsin vuolain sanakääntein ja kertoi olevansa hyvin vaikuttunut julkaisujeni argumentoinnin tasosta. Hän myös kannusti minua vastaisuudessa lähettämään parhaat tutkimustuotokseni ehdottomasti parhaisiin lehtiin ja kustantamoihin. Sitä se teettää kun ei voi varsin hauraan anonymiteetin takaa laukoa mielensä mukaan. Vai sattuiko ”filosofi y:lle” vain hyvä päivä?

Vertaisarvioinnille on tietenkin vaikea kuvitella mitään korvaavaa järjestelmää; eihän artikkelin tutkimuksellinen merkitys ja esimerkiksi argumentoinnin vakuuttavuus voi olla ainoastaan kirjoittajan omien sanomisten varassa. Tekoälystäkään tuskin on ainakaan aivan lähiaikoina apua. Mutta joka tapauksessa mielestäni arvioijan pitäisi jollain tavoin saada kantamaan enemmän vastuuta siitä, että arvio todella on hyvien tutkimuskäytäntöjen mukainen ja rakentavassa hengessä tehty. Jonkinasteinen anonymiteetin purkaminen voisi auttaa tässä. Tähänhän suuntaan osa lehdistä on jo mennytkin. Arvioijien nimien liittäminen arvioon ainakin luulisi karsivan pahimmat ylilyönnit ja asiattomuudet arvioista pois.

Joskus tuntuu, että lehtien toimittajatkin voisivat paneutua tarkemmin arvioitsijoiden valintaan ja välttämään käyttämästä sellaisia arvioijia, joilla on jonkinasteinen eturistiriita artikkelin kanssa, esimerkiksi sellaisia, jotka saattaisivat arviossaan vain käydä läpi sitä, miten kirjoittaja on juuri hänen näkemyksensä jättänyt käsittelemättä. Tällaisiin arvioitsijoihin tietenkin lukeutuvat alan kiistattomat huiput, joten tällöin voidaan myös menettää paljon. Yhden ulottuvuuden koko hommaan tuo vielä se, että varsinkin kovemmissa lehdissä, joissa kaikki uratietoiset tutkijat yrittävät kaikin keinoin saada papereitaan julkaistuksi, arvioijat saattavat käydä myös yleistä tieteellistä urapeliä ja jopa kirjoittaa tarkoituksellisen negatiivisia arvioita kollegojensa edesottamuksista. Tuskin tässä tunteessani on kyse pelkästä vainoharhaisuudesta. Sen verran pitkään on tullut akateemisissa ympyröissä pyörittyä, että alan uskoa ihan mihin vain.

Oma kysymyksensä on tietenkin myös se, missä julkaista. Nykyisinhän on kehitetty erilaisia luokituksia, joissa tieteelliset lehdet on sijoitettu eri tasoille. Suomalaisen tutkijan tulisi ilmeisesti tuijottaa lähinnä julkaisufoorumin eli jufon luokitusta, jossa lehdet on jaettu neljälle eri tasolle 0, 1, 2, 3. Lehtiluokitusten ruotiminen vaatisi ihan oman kirjoituksensa, mutta ainakaan homma ei mene niin, että mitä parempi luokitus, sitä parempi ja kasvattavampi arviointiprosessi.

Saatan olla liian sääntöuskovainen, mutta itse kyllä käytän jufo-luokitusta taustana yrittäessäni etsiä artikkelikäsikirjoituksilleni kotia. Esimerkiksi nyt arvioitavana oleva artikkelini kävi ensin kahdessa 3-tason lehdessä ja on nyt arvioitavana tason 2 lehdessä. Jos sieltä tulee hylsy, niin sitten onkin mietinnän paikka. Ja tässä tullaankin apurahatutkijuuden ydinkysymyksiin: vieläkö yrittää jotakin hieman arvostetumpaa lehteä, jossa arviointi- ja julkaisupäätösprosessit tuppaavat olemaan hitaampia vai tyytyäkö johonkin vaatimattomamman statuksen lehteen, jonne juttu voisi hyvässä lykyssä mennä heittämällä läpi. Rahoitukseni päättyy vuoden lopussa, joten olisi hyvä, jos artikkeli näkisi päivänvalon mahdollisimman pian, jotta voisin lisätä sen uusien rahoitushakemusten julkaisuluetteloliitteeseen. Oma lukunsa on vielä se, että olen itse varsin innostunut kirjoituksesta ja haluaisin nähdä sen tulevan ulos jossain arvostetussa lehdessä eikä hautautuvan tieteellisen julkaisemisen Saharaan. Paljon on taas apurahatutkijalla pähkäiltävää. Toivottavasti edessä kuitenkin on jälleen hyvä kasvun mahdollisuus.