Mitä validointi tarkoittaa?

Psykologisia menetelmiä käytetään mittaamaan käsitteellisiä määreitä, joita emme voi koskettaa tai nähdä. Näitä ovat esim. älykkyys, hallitsevuus ja rehellisyys. Mutta miten näitä menetelmiä tulisi arvioida? Mistä tiedämme, tarjoavatko kyseiset menetelmät tarkkaa tietoa mitatuista asioista vai onko kyse sattumanvaraisista tiedonsirpaleista, jotka kuulostavat uskottavilta?

Yksinkertaistettuna: mikäli menetelmä on käyttökelpoinen ja tarkka, on sen täytettävä useita erilaisia tiedeyhteisön asettamia vaatimuksia. Validointi on siis keino arvioida psykologisen menetelmän laatua testaamalla sitä eri vaatimusten mukaan.

Lataa tästä uusimmat tutkimusraportit (3. sukupolven DiSC-profiili)

Validointi-prosessin kaksi pääkysymystä

  1. Kuinka luotettava (reliability) menetelmä on? Tutkimuksella selvitetään kuinka johdonmukainen ja luotettava menetelmä on. Mikäli tulokset sisältävät runsaasti satunnaisvaihtelua, pidetään sitä vähemmän luotettavana.
  2. Kuinka pätevä (validity) menetelmä on? Tutkimuksella selvitetään kuinka tarkka menetelmä on. Mitä enemmän menetelmä mittaa sitä mitä sen pitää mitata, sitä pätevämpi menetelmä on.

Luotettavuus (reliability)

Kun seuraavassa puhumme Inscapen DiSC®-profiilin luotettavuudesta, viittaamme sekä menetelmän vakauteen että sen sisäiseen johdonmukaisuuteen.

Vakaus viittaa menetelmän kykyyn välittää samoja mittaustuloksia tiettynä ajanjaksona. Tämä testataan yleensä siten, että samat henkilöt täyttävät menetelmän kyselylomakkeen kahdesti tai useammin siten, että toimenpiteiden väliin jää riittävästi aikaa (”testaus-uudelleentestaus”). Tuloksista voidaan päätellä, kuinka vahvasti ne tukevat (korreloivat) toisiaan.

Esimerkki: työkalun vakaus

  • DiSC Classic® neljä ulottuvuutta (”D” - Hallitseva, ”i” - Vaikuttava, ”S” - Vakaa, ja ”C” - Tunnontarkka) on arvioitu niiden ”testaus-uudelleentestaus” -luotettavuuden osalta vaihtelevilla aikaväleillä ja seuraavasti:

Sisäinen johdonmukaisuus mittaa niiden kysymysten korrelaatiota, joiden on tarkoitus mitata samaa asiaa. Eli jokainen neljästä DiSC Classic® -ulottuvuudesta testataan käyttäen erilaisia termejä (vrt. adjektiivin muodossa olevat kysymykset, joista esimerkkinä uskalias, itsenäinen, aggressiivinen tai suora). Tutkimukset kertovat, mittaavatko kaikki tiettyä ulottuvuutta (esim. ”D”) kuvaavat termit samaa (esim. hallitseva). Tällöin niiden tulisi korreloida toistensa kanssa. Toisin sanoen, kaikkien profiilin termien tulisi käyttäytyä johdonmukaisesti toisiinsa nähden. Useimmiten Cronbachin Alphaa pidetään parhaana menetelmä sisäisen johdonmukaisuuden mittaamiseksi.

Pätevyys (validity)

Kuten edellä todettiin, menetelmän pätevyys kuvaa sitä, kuinka paljon menetelmä mittaa sitä, mitä sen on suunniteltu mittaavan. Käsitteellisiä aiheita (kuten älykkyys, hallitsevuus tai rehellisyys) mittaavan psykologisen menetelmän pätevyyden arviointi voi olla haasteellista.

Tästä huolimatta on olemassa koko joukko perusmenetelmiä, joita tutkijat käyttävät vastaamaan kysymykseen, “Miten hyvin menetelmä mittaa sitä, mitä se väittää mittaavansa?”.

Konstruktion eli todennäköisyysmallin pätevyys

Konstruktio on abstrakti idea tai käsite (kuten älykkyys, hallitsevuus tai rehellisyys), jota käytetään selittämään kokemustamme. Esimerkiksi ”D”-ulottuvuus DiSC®:issä mittaa hallitsevuuden konstruktiota ja hallitsevuus on puolestaan teoreettisesti sidoksissa muihin konstruktioihin. On esimerkiksi syytä olettaa, että joku, joka on hyvin hallitseva, luokitellaan kanssaihmisten toimesta myös aggressiiviseksi. Siten hallitsevuus ja kanssaihmisten luokittelema aggressiivisuus ovat teoreettisesti yhteydessä toisiinsa. Lisäksi jos hallitsevuus saa ”korkean” pätevyyden, tulisi sen korreloida suoraan kanssaihmisten aggressiivisuusarvion kanssa. On siis olennaista miten konstruktion pätevyyttä tutkitaan. Ensin on määriteltävä joukko teoreettisia suhteita (hallitseva konstruktio eli luonteenpiirre on teoreettisesti verrattavissa X, Y ja Z –konstruktioon eli luonteenpiirteisiin). Tämän jälkeen teoreettiset suhteet testataan empiirisesti, jotta nähdään ovatko suhteet todella olemassa. Mikäli annetut suhteet ovat olemassa, menetelmällä uskotaan olevan korkeampi pätevyys.

Ulottuvuuksien sisäiset korrelaatiot

On olemassa lukuisia eri tapoja testata konstruktion pätevyyttä. Voimme ensinnäkin tutkia menetelmän pätevyyttä omana kokonaisuutenaan. DiSC®:in kaltaiset menetelmät tarjoavat mallin, jossa työkalun ulottuvuuksilla on tarkasti määritelty suhde toisiinsa. Tutkijat tutkivat todellisia ulottuvuuksien välisiä suhteita nähdäkseen, heijastavatko ne menetelmän esittämää teoreettista suhdetta.

DiSC®-mallissa toisiinsa liittyvillä, vierekkäisillä asteikoilla (esim. C/S tai C/D) tulisi olla heikon ja kohtuullisen välillä olevia korrelaatioita. Tämä tarkoittaa, että näiden korrelaatioiden tulisi olla merkittävästi pienempiä kuin yksittäisten ulottuvuuksien luotettavuus. Esimerkiksi ”D”- ja ”i”- ulottuvuuksien välinen korrelaatio (-.11) pitäisi olla merkittävästi alhaisempi kuin D:n luotettavuus (.87) itsessään. Toisaalta taas vastakkaisilla ulottuvuuksilla (esim. D/S tai C/i) tulisi olla vahvasti negatiivisia korrelaatioita.

Moniulotteinen skaalaus (MDS Multidimensional Scaling)

Myös moniulotteinen skaalaus tukee DiSC®-mallia. Tällä tilastollisella menetelmällä on kaksi etua. Ensinnäkin se mahdollistaa ulottuvuuksien välisten visuaalisten suhteiden tarkastelun. Toiseksi tämä menetelmä antaa tutkijalle mahdollisuuden tarkastella kaikkia ulottuvuuksia samanaikaisesti. Laajan otoksen aikaansaamiseksi mukaan otettiin kaikkiaan 45 588 vastaajan verkossa täytetyt DiSC®-profiilit. Lähempänä toisinaan sijaitsevilla ulottuvuuksilla on vahvempi positiivinen suhde ja puolestaan ulottuvuudet, jotka ovat etäämpänä toisistaan, ovat puolestaan enemmän erilaisia.

DiSC®-mallissa jokainen ulottuvuuksista on alueella, jotka perustuvat DiSC®-mallin teoriaan. Lisäksi jokainen ulottuvuuksista on etäällä niistä ulottuvuuksista, jotka myös DiSC®-mallin teorian mukaisesti ovat niiden vastakohtia. Siksi voidaankin todeta, että tämä analyysi antaa vankan lisätuen DiSC®-mallille ja DiSC Classic®:in pätevyydelle mitata kyseistä mallia.

Faktorianalyysi

DiSC® Classicin pätevyyttä on arvioitu myös käyttämällä faktorianalyysiä. Päinvastoin kuin edellä kuvatuissa korrelaatioanalyysissä ja moniulotteisessa skaalauksessa, faktorianalyysissä keskitytään DiSC®-menetelmässä käytettyihin termeihin.

Yleisesti ottaen faktorianalyysi auttaa tutkijoita ymmärtämään, mitkä termit korreloivat hyvin ja siten muodostavat yhdessä oman ulottuvuutensa. Tämä tilastotieteellinen menetelmä ottaa huomioon korrelaatiot kaikkien testissä esiintyvien termien kesken ja tunnistaa syntyneet, itsenäiset faktorit. DiSC®-mallin mukaan kaikki neljä ulottuvuutta pitäisi löytyä kahdesta ensisijaisesta faktorista.

Jotta DiSC Classic® mittaisi riittävästi DiSC®-mallia, tulee ”i” ja ”C” ulottuvuuksia kuvaavien termien korreloida voimakkaasti yhden faktorin kanssa ja vastaavasti ”D” ja ”S” ulottuvuuksia kuvaavien termien tulisi korreloida voimakkaasti toisen faktorin kanssa.

Faktorianalyysin tulos 7038 vastaajalla osoitti, että jokaisen DiSC®-ulottuvuuden kohdalla termit ryhmittyivät oletetulla tavalla. Kaksifaktori-mallissa selvä enemmistö DiSC®-ominaisuuksista korreloi vahvasti odotettujen faktoreiden kanssa. Nämä tulokset tukevat DiSC®-mallia ja toisaalta DiSC Classicin ominaisuuksien soveltuvuutta mittaamaan kyseistä mallia.
 

Kansainväliseen verkostoon kuuluu jo yli 70 maata

Australia - Austria - Belgium - Brazil - Brunei - Columbia - Denmark - Egypt - Estonia - Finland - France - Germany  Hong Kong - Hungary - India - Indonesia - Ireland - Italy - Japan - Korea - Latin America - Latvia - Lebanon - Lichtenstein - Lithuania - Malaysia - Mexico - Netherlands - New Zealand - Nigeria - Norway - Poland - Portugal - Romania - Russia - Singapore - South Africa - Southeast Asia - Spain - Sweden - Switzerland - Thailand - Ukraine - United Arab Emirates - United Kingdom