Kuinka luotettavasti mittaan tai arvioin?

Olet varmaan miettinyt kuinka luotettavasti voin mitata, mutta kuinka tiedän sen. Olet ihmetellyt, kun mittaan tänään ja sitten ensiviikolla, niin tulos on eri. Vastaus tähän on selvä, et tunne mittausvirheen suuruutta. Onkin sanonta, jos et tiedä kuinka hyvin tiedät, et tiedä juuri mitään.

Tämä sanonta on tullut tutuksi tämän jutun kirjoittajalle. Olen ollut kiinnostunut asiasta ja olen päässyt perehtymään asiaan hyvin. Haluan tällä jutulla valottaa mittauksen maailmaa, sen prosessoimista ja luotettavuuden määrittämistä. Mittaaminen ei tarkoita ainoastaan osien tai parametrien mittaamista, vaan yhtä hyvin se käsittää asiakastyytyväisyyden mielipiteiden, ajan kuin erilaisten tapahtumien määrittämisen. Tällä hetkellä kaikille tutuin mittaustapahtuma on puolueen kannatukset. Yhteiskunnan eri ilmiöiden mittaamisesta vastaa taas tilastokeskus. Kuinka organisaatiosi mittaa?

Meillä on sanonta, josta en oikein pidä; rapatessa roiskuu ja kun rappaat paljon, niin roiskuu reilusti. Mittaamme tänä päivänä todella paljon, monessa paikassa on kovalevyt täynnä mittalukuja, siis Terabittejä. Jos mittaukset eivät ole suunniteltuja (mihin niitä käytän ja kuinka) ja arvioitu, kuinka luotettavia ne ovat, niin helposti roiskuu niin, että roiskuu enemmän kuin tulee rapattua. On aivan tavallista, että mitatessamme ja tehdessä siitä johtopäätöksiä nousevat virheet helposti 50 – 500 prosenttiin. Luit aivan oikein. Hirveästi. Joudun tämän todistajaksi viikoittain ja on ollut ilo ja onni olla auttamassa tämän ongelman ratkaisussa.

Olen tullut siihen päätelmään, että muutettaessa mm. aistittavia asioita lukuarvoiksi, siis kun halutaan määrällistää jokin asia, alkaa roiskua reilusti. Mittaus ei ole ainoastaan teollisuuden ongelma, vaikka siellä töitä riittää tälläkin saralla. Nykyään ei ole homma eikä mikään tutkia kuinka suuri virhe on, ja arvioida, mikä on sen vaikutus tiedon käyttäjälle.

Tyypillisiä havaintoja kuinka mittavirhe esiintyy, mittaat sitten tuotetta, palvelua, aikaa, tapahtumaa, jne.

• Kun mittaat samaa kohdetta, tulos muuttuu, epäile ensin mittausta
• Prosessin ohjaus ei toimi toivotulla tavalla, epäile taas mittausta
• Tuntuu, että mittauksessa ei ole mitään järkeä, epäile taas mittausta
• Teoria ja käytäntö eivät sovi yhteen, epäile taas mittausta
• Tutkimus ei edisty, epäile taas mittausta
• Suunnitelma ei toteudu, epäile taas mittausta
• Teet mitä tahansa, epäile taas mittausta

Mitä nämä virheet aiheuttavat? Usein mittausvirhe tuottaa turhautumista ja suuria taloudellisia menetyksiä. Suomen kansantuotteesta käytetään mittaamiseen noin kahdeksan prosenttia. Kuinka tämä raha käytetään, on hyvä kysymys. Mitä tällä tiedolla saadaan, todellisia ja luotettavia tuloksia vai ainoastaan mittausvirheen, ”lottokoneen” antama tuloksen, jolla ei todellisuudessa tehdä mitään. Mitä tämä maksaa? En ole nähnyt selvityksiä, mutta varovaisenkin arvion mukaan virheellisen tiedon arvo on miljardi tai miljardeja. Yksittäisissä prosesseissa on arvioitu virheellisen tiedon hinta. Se on noussut useisiin satoihin tuhansiin euroihin, jopa miljooniin. Tämä hintalappu on yksittäisissä mittauksissa. Yritysten ja yhteisöjen tuotekehitys- ja tutkimushankkeissa käytetään kymmeniä ja satoja miljoonia euroja. Uusista passeista todettiin (HS 21.2.2007): ”Lukuisia käyttö- ja kestävyystesteistä huolimatta uuden materiaalin myötä passikirjan selän murtuminen osoittautui myöhemmin ongelmaksi.” Onkohan passi ja muissa hankkeissa selvitetty kuinka luotettavasti mittaat, sitä mitä selvität? Usein ei, koska asia on tunnistettu tärkeäksi vasta hyvin vähän aikaa teolliseen historiaa verrattuna. Systemaattisesti autoteollisuus otti tämän vaatimuksiinsa mukaan vasta 90 -luvun alussa ja sieltä se on levinnyt elektroniikkateollisuuteen, mutta virheen arviointi ja sen tärkeys on vielä hyvin pienen joukon tuntema asia.

Nyrkkisääntö on, että älä luota suoraan mittalaitteenvalmistajan laitteelle ilmoittamaan mittavirheeseen. Se on selvitetty yleisesti ottaen laboratoriossa valvotuissa olosuhteissa, mieti missä sinä ja muut sekä kuinka mittalaitetta käytetään organisaatiossasi. Tunnetko mittavirheen tärkeissä mittauksissasi? Kuinka aloittaa?

Mittausprosessi

Kaikki alkaa siitä, että täytyy ymmärtää mittaaminen kokonaisuudeksi, jota ISO standardi mm. kutsuu mittausprosessiksi. Tähän mittausprosessiin vaikuttaa suuri määrä tekijöitä, joista osa on ohjattavissa ja osa on häiriötekijöitä. Usein keskitytään itse mittaustapahtumaan, laitteeseen, kun täytyisi keskittyä kokonaisuuteen, prosessiin. Usein virheelliseen mittaustulokseen vaikuttaa radikaalisti mittausprosessin keskinäisvaikutus (yhteys) ympäristöön, jossa sitä käytetään.

Mittausprosessissa on kolmen tyyppistä ”ongelmaa”, eli virhettä, jotka jakautuvat deviaatiovirheeksi, variaatiovirheeksi ja näytteenottovirheeksi. Mittausprosessin toimivuudesta kuulee usein puhuttavan kuinka tarkka se on, mutta pitäisi puhua kuinka tarkka (Accuracy) ja täsmällinen (Precision) se on. Eli kuinka paljon mittausprosessin tulos poikkeaa todellisesta arvosta ja kuinka paljon siinä on satunnaistavaihtelua, joka on peräisin mittausprosessista.

Kuva 3. Mittausprosessin mittausvirheet ovat deviaatio- ja variaatiovirhe.

Yleensä luullaan, että mittaus on kunnossa kun mittarin kalibrointi on tehty. Mitä nyt sitten kalibroinnilla käsitetäänkin, mutta yleensä näin ei ole. Kalibroinnin tarkoitus on poistaa epätarkkuus (bias) mittausprosessista, mutta se ei takaa, että variaatiovirhettä olisi tarkasteltu. Eli käsitys, että kalibrointi yksin riittää on väärä, mutta yleisesti vallitseva.

Variaatiovirhe on usein suurempaa harmia aiheuttava tekijä, joka on esteenä prosessien parantamisessa, tutkimuksessa, ohjaamisessa, jne. siis kaikkialla, jossa mittausprosessia tarvitaan tai käytetään. Tämä variaatiovirhe, jota kutsutaan mittausprosessiperäiseksi satunnaisvaihtelun alueeksi, josta seuraa kolme päätöksentekoaluetta. Alueet on esitelty kuvassa 4. Alueet 1 ja 3 ovat alueita, joissa ollaan varmoja, että tulos on tai ei ole sitä mitä oletetaan sen olevan, kun taas alue 2 on alue, jossa tulos on tai ei ole riippuen mittaus hetkestä. Tässä on esitetty tilanne, jossa mittausvirhe toleranssialueeseen verrattuna on 40 %. Tämä virhe ei ole ollenkaan epätyypillinen, jos virhettä ei ole prosessista tutkittu.

Prosessin tavoite on 80 yksikköä ja toleranssialue on 4 yksikköä. Mittausvirhe on 40 % toleranssialueesta, josta seuraa, että mittausprosessin kuusi sigmaa (virhealue) on 1,6 yksikköä eli mittausprosessin yksi sigma on 0,267 yksikkö. Tämä tarkoittaa, että tuhannesta mittauksesta vain kolme ei mahdu tähän haarukkaan. Kuvassa on simuloinnin avulla selvitetty tilannetta toleranssialueen ympärille, edellä esitettyjen alueiden 1, 2 ja 3 selkeyttämiseksi.

Mistä tämä virhe tulee? Tämä variaatiovirhe syntyy monen tekijän summana, ei ole siis olemassa yhtä tekijää. Tähän vaikuttaa niin mittalaite, kun ympäristötekijät, käytettävä menetelmä, henkilöt jotka sitä käyttää, jne. Tehtävänä on ensi selvittää mittausvirhe ja sen jälkeen tiedät, mitä ja minne pitää suunnata toimenpiteet sen pienentämiseksi. Esimerkki on määrällisestä mittauksesta, mutta samanlainen virhetarkastelu voidaan suoritta laadullisille mittauksille, kuten visuaalinen arviointi, jne. Virhetarkastelu on vähintäänkin yhtä tärkeää selvittää automaattimittauksille, testereille, mitä mittaus- tai arviointiprosessia ikinä käytätkin arvioinnin perustana.

Kuinka mittausvirhettä arvioidaan?

Mittausprosessin arviointimenettelyä voidaan käyttää laadullisen ja määrällisen tiedon arvioimiseen. Onko siis kysymys aistinvaraisista tai mittalaitteen aikaan saamasta mittausprosessista. Mittauksen virheen selvittäminen on tutkimus. Se ei voi perustua laboratoriossa suoritettaviin erilliseen tarkastukseen, vaan se on koe, jossa mittausprosessin toimivuutta tutkitaan niissä olosuhteissa, jossa sitä todellisuudessa käytetään (poikkeus on tietysti laboratorion mittalaitteet, mutta ne tutkitaan samalla tavalla). Kalibrointi suoritetaan yleensä koneessa tai testitilanteessa, joten kalibrointi ei auta meitä kertomaan, mikä on mittausprosessin todellinen virhe.

Ensimmäinen askel on validoida, mitä mitataan sekä missä ja milloin. Siis kohde, paikka ja millä taajuudella mittaus tapahtuu. Tämän määritelmän täytyy olla monimerkityksetön. Puhutaan mittauksen operatiivisesta määritelmästä. Näin varmennetaan, että mitataan oikea asia, oikeasta paikasta oikeilla yksiköillä. Tämä tuntuu naivilta, mutta tämä ei ole itsestään selvyys. Tätä asiaa on useiden lakisääteisten mittauksien osalta määritelty erinäisin standardein.

Toinen askel on selvittää onko mittausprosessi stabiili. Onko mittausprosessin ulostulo ennustettava. Toisin sanoin, muuttuuko mittausprosessin keskiarvo ajansuhteen epätavallisen paljon. Tämän pitäisi olla osa mm. kalibrointiohjelmaa, jotta tiedetään milloin kalibrointiin liittyvä säätö suoritetaan. Mikäli mittausprosessi ei ole stabiili, sen toiminta ja jatkotutkimuksen edellytykset ovat huonot. Tämä tarkoittaa käytännössä, että mittausprosessin ulostulo, mittaustulokset, eivät ole ennustettavat. Yleensä stabiilisuus selvitetään ohjauskorttien (SPC:n) avulla. Kuvassa viisi on kuvattu ajansuhteen tapahtuvaa keskiarvon muutosta.

Kolmantena askeleena on määrittää variaatiovirheen suuruus, eli kyvykkyys (Capability). Tätä kutsutaan lyhyen ajan (Short Term) vaihtelun tunnistamiseksi. Tämä suoritetaan Gage R&R (Gage repeability and reproducibility) tutkimuksella, jossa mitataan samaa kohdetta useampaan kertaan, usean mittaajan tai mittalaiteen kanssa.

Kuva 5. Mittausprosessin keskiarvo muuttuu ajansuhteen. Tätä kutsutaan stabiilisuusvirheeksi.

Tämä on koe, jossa kahdella tekijällä tutkitaan kaikki kombinaatiot, ja tästä saadaan laskettua varianssi, jota käytetään mittauksen satunnaisvaihtelun mittana. Gagen tarkoituksena on vaihtelun selvittäminen, selvittää kuinka paljon vaihtelua tulee itse laitteesta, jota kutsutaan toistettavuudeksi (repeability). Toinen vaihtelun osuus on henkilöistä tai laitteiden väliltä, jota kutsutaan uusittavuudeksi (reproducibility).

Neljäntenä vaiheena tutkitaan kuinka paljon mittaustulokset poikkeavat todellisesta arvosta käytetyllä mitta-alueella. Tähän käytetään lineaarisuus- ja biastutkimusta. Tämä on mahdollista, jos mittaus on ennustettava ja vaihtelu on pientä suhteessa prosessin vaihteluun tai toleranssialueeseen (päätöksentekoalue). Tämä osio kuuluu perinteisen kalibrointikäsitteen alle. Säädetään siis mittausprosessin keskiarvo lähelle tosiarvoa. Koska kysymyksessä on keskiarvon siirtäminen, kalibroinnin yhteydessä pyritään kalibrointilaitteella tms. ”poistaa” vaihtelu (variaatio), säädön onnistumiseksi. Satunnaisen vaihtelun ollessa merkittävä, keskiarvon siirtoa paikalleen (biaksen korjaus) ei pystytä tekemään tarkasta. Tämän vuoksi yrityksissä ei yleensä voida tehdä kalibrointisäätötoimenpiteitä.

Lopuksi täytyy tästä tehdä raportti ja laskea virheen summa ja arvioida mittausprosessin käyttökelpoisuus tai vastaavasti toimenpiteet sen parantamiseksi. Kun mittausprosessi on hyväksyttävä, varmistetaan, että se pysyy käyttökelpoisena. Sillä täytyy olla ohjaussuunnitelma, joka pitää sisällään kunnossapidon, kalibroinnin ja kaiken sen, mikä varmistaa luotettavat mittatulokset myös jatkossa.

Mittausprosessi on hyvä jos sen virhe on alle 10 % (mittausvirhe on kuusi kertaa mittauksen sigma). Jos se on 10 – 30 % sitä voidaan käyttää prosessin ohjaukseen, riippuen mittauksen kriittisyydestä. Seuranta- ja monitorointimittauksissa hyväksytään 50 % virhe, mutta tämän perusteella ei saa tehdä toimenpiteitä. Jos taas ylittään nämä rajat täytyy, tehdä töitä virheen pienentämiseksi.

Lisäksi täytyy muistaa ottaa huomioon, että näyte (= kuinka monta havaintoa otat ja miten otat) muodostaa yhden osan ”mittausvirhettä”, mitä keräät ja mihin tarkoituksen. Mittausprosessin käyttöön liittyy tärkeänä osana siis näytteenotto. Et voi kerätä yleensäkään kaikkea tietoa vain osan siitä, joten täytyy olla näytteenottosuunnitelma, jonka avulla määritellään näytteestä johtuva virhe, jos mittausvirhe on nolla. Toisaalta kaikkien tietojen kerääminen ei ole tarkoituksen mukaista, se vain usein sotkee tiedon jälkikäsittelyn. Pidä mielessä se, että keräät tieto prosessista tai jostakin ilmiöstä. Eli näytteen suuruus ja taajuus on yhtä tärkeä osa tätä kokonaisuutta, kuin itse mittaaminen. Yleisin uskomus on, että mitä enemmän dataa sitä parempi. Näin ei voi sanoa yleisesti. Jos dataa on liian paljon tai se on kerätty väärästä paikasta ja liian usein tai liian harvoin, et itse asiassa saa mittaamalla sitä tietoa mitä tarvitset prosessin tai kohteen kehittämiseen.

Kuvassa 6 on esitetty kaaviona mittausvirheet sekä niiden laji. Edellä esitetty lista tuo protokollan, jota voi käyttää niin laadullisiin, kuin automaatio- tai manuaalimittauksiin.

On yhtä tärkeää tutkia automaattiset mittausprosessit kuin manuaaliset ja henkilöriippuvaiset. Valosilmät ja laserit eivät takaa välttämättä sen luotettavampaa tulosta kuin manuaalinen.

Lopuksi haluan sanoa, jos tulos näyttää hämmästyttävän hyvältä, mutta prosessi ei tuota taloudellista hyvää, palaa sylttytehtaalle, ja selvitä kuinka tämä tulos on saatu aikaiseksi. Tutki mittausprosessi. Tai vastaavasti, jos tuloksia ei synny, tai parannusta ei saada aikaiseksi, tutki ensin mittaus ja laita kuntoon, jatka sitten toimintaa. Luotettava mittaaminen on vaikeaa, mitta samalla haastavaa ja mielenkiintoista. Mitä mieltä sinä olet? Tunnetko mittauksen virheen tänään käyttämiesi mittareiden osalta? Tunnetko hintalapun, paljonko virheellinen mittaaminen ja siitä seuraavat päätökset maksavat organisaatiolle?