Seulontakokeiden tehokas käyttö: joitakin käytännön kokemuksia

Ronald D. Snee¹  Steven P. Bailey²

¹Snee Associates, LLC, Newark, Delaware, USA
²Steven P. Bailey, LLC, Wilmington, Delaware, USA

Kääntänyt alkuperäisten kirjoittajien luvalla, Matti Pesonen, Quality Knowhow Karjalainen Oy, Lahti, Suomi

Abstrakti

Kun kohtaamme ongelman, joka on ratkaistava tekemällä suunniteltuja kokeita (designed experiments, DoE), meidän on ensin mietittävä, mitä strategiaa kokeisiin tulisi käyttää. Eräs onnistuneen kokeellisen strategian osa-alue on seulontakokeiden (screening experiments) käyttäminen käytännössä. Tässä artikkelissa kirjoittajat jakavat yli 90 vuoden kokemuksensa niistä suunnitelluista kokeista, joissa seulontakokeet ovat olennainen osa strategiaa. Artikkelissa käsitellään seulontakokeiden etuja ja sitä, miksi ne toimivat. Artikkelissa käsitellään aiheita kuten Pareto-periaate koeympäristössä ja seulontakokeiden koesuunnitelmien luotettavuus oletuksiin nähden. Artikkeli jakaa tapaustutkimuksia (case), vinkkejä, ansoja ja ohjeita. Lopputulemana esiin tulee kokonaisvaltainen lähestymistapa kokeisiin, jonka tuloksena kokeita tekevät ja analysoivat tiedemiehet ja insinöörit saavat oikeaa dataa oikeassa määrässä oikeaan aikaan.

Avainsanat: karakterisointi, koetoiminnan strategia, osittaistekijäkoesuunnitelmat, optimointi, Plackett-Burman suunnitelmat, seulonta (characterization, experimentation strategy, fractional-factorial designs, optimization, Plackett–Burman designs, screening) 

1. MITÄ STRATEGIAA MEIDÄN PITÄISI KÄYTTÄÄ?

Tutkijat, insinöörit, laatualan ammattilaiset ja muut ammattilaiset kohtaavat usein ongelmia, kuten uusien tuotteiden luominen, uusien prosessien kehittäminen, olemassa olevien prosessien suorituskyvyn parantaminen tai vakavien asiakas- tai ympäristöongelmien ratkaiseminen. Tällaisten ongelmien ratkaisemiseksi tarvitsemme strategian.

Mitä meidän pitäisi tehdä? Mitä dataa meidän pitäisi kerätä? Mitä tahansa teemmekin, sen pitäisi olla osa kokonaisstrategiaa. Onneksi kokeiden osalta meillä on strategia, jota seurata. Se kehitettiin DuPontilla ja sitä on käytetty menestyksekkäästi yli 50 vuoden ajan.^1–3

Keskeistä tässä strategiassa ovat ns. seulontakokeet (screening experiments), jotka ovat kirjoittajien kokemuksen mukaan strategiassa vajaakäytössä. Tämä artikkeli alkaa keskustelemalla peräkkäisistä kokeiden tekemisestä (sequential experimentation) ja Boxin⁴ ”Koetoiminnan iteratiivisesta luonteesta”. Sitten keskustellaan ”koestrategian” vaiheista. Tämän jälkeen keskustellaan seulontakokeiden hyödyistä, seulontakokeiden suorittamisen vastarinnan lähteistä, seulontasuunnitelmiin liittyvistä kysymyksistä ja seulontakokeiden käytöstä testausmenetelmien tutkimuksissa. Lisäksi käsitellään tapaustutkimuksia, jotka havainnollistavat erilaisia tilanteita, joissa seulontakokeet ovat tarkoituksenmukaisia, ja tällaisissa tutkimuksissa käytettyjen tilastollisten koesuunnitelmien moninaisuutta.

Korostamme, että tässä artikkelissa on kyse seulontakokeista; ei käytetyistä koesuunnitelmista sinänsä. Seulontakokeissa käytetyt suunnitelmat, kuten Plackett–Burman ja kaksitasoiset osittaistekijäkokeet, ovat olleet olemassa jo pitkään, ja niiden tilastollisista ominaisuuksista on käyty paljon keskustelua ja analyysiä. Tässä keskitymme seulontakokeiden suorittamiseen; mitä, miksi, miten ja milloin. Tiedon keräämiseen käytetään tietenkin tilastollisia asetelmia, mutta seulontakokeiden suorittamiseen liittyy paljon muutakin, joka on tämän artikkelin painopiste.

Tämä artikkeli on ainutlaatuinen käsitellessään useita seulontakokeiden kriittisiä näkökohtia, joita kirjoittajien ja muiden kokemusten mukaan ei ole käsitelty riittävästi kirjallisuudessa. Monet näistä kysymyksistä on mainittu kirjallisuudessa, mutta niitä ei ole käsitelty tämän artikkelin tarjoamassa holistisessa merkityksessä. Näitä ongelmia ovat muun muassa seuraavat:

• Yhdistävä strategia, joka integroi seulontakokeet muun tyyppisiin kokeisiin.
• Seulontakokeiden käytön taustalla oleva teoria.
• Seulontakokeiden suorittamisen hyödyt, mukaan lukien vahvuudet ja heikkoudet.
• Seulontakokeiden suorittamisen vastustuksen lähteet.
• Ainutlaatuinen graafinen tulosten esitystapa, joka yhdistää tekijöiden lineaaristen vaikutusten järjestyksen luottamusrajoihin, kun esitetään seulontakokeiden tuloksia.
• Pareto-periaatteen rooli seulontakokeiden suunnittelussa, analysoinnissa ja tulosten tulkinnassa 47 kokeen analyysin tukemana.
• Lineaaristen mallien robustisuus vastefunktioiden kohtuullista kaarevuus- ja keskinäisvaikutusta vastaan.
• Mitkä ovat seuraavat vaiheet seulontakokeiden jälkeen: Lisäkokeet? Vahvistustestit?
• Seulontakokeiden käyttö analyyttisen testimenetelmän vakauden (robustness) arvioimiseksi.

Aloitamme keskustelemalla koestrategiasta ja seulontakokeiden sopivuudesta tähän strategiaan.

1.1 Koetoiminnan strategia – oikean tiedon saaminen, sopiva määrä oikeaan aikaan

Box⁴ esitteli ajatuksen peräkkäisistä koetoiminnasta, joka tuli tunnetuksi nimellä “Koetoiminnan iteratiivinen luonne” (eng. Iterative Nature of Experimentation). Kuten kuvasta 1 näkyy: iteroimme hypoteesin ja kokeen välillä; ajan myötä tapahtuu oppiminen, tieto kasvaa, ongelmat ratkaistaan ja tavoitteet saavutetaan. Strategia, jossa hyödynnetään näitä periaatteita kehitettiin DuPontilla 1960-luvulla ¹ . Tämä strategia tunnistaa kolme kokeellista ympäristöä: seulonta, karakterisointi ja optimointi (screening, characterization, optimization). Kunkin kolmen vaiheen tavoite ja käytetyt koejärjestelyt on esitetty tiivistetysti taulukossa 1 ja niitä käsitellään jäljempänä. Taulukossa 1  ”osittaistekijäkoe (fractional-factorial)” viittaa mihin tahansa suunnitelmaan, joka ei ole täystekijäkoe (full-factorial). Käytännössä yleisesti käytetyt osittaistekijäkoesuunnitelmat sisältävät tekijöitä vain kahdella tasolla.

Kuvassa 2 (mukautettu viitteestä 6) näemme kuvauksen siitä, miten nämä vaiheet sopivat yhteen. Kun siirrymme seulonnasta karakterisointiin ja optimointiin, kokeellisten muuttujien määrä vähenee tunnistettujen kriittisten muuttujien määrän vuoksi. Kun siirrymme kohti optimointia, prosessitiedon ja ymmärryksen määrä kasvaa. Tämä on yhdenmukaista Russell Ackoffin havainnon kanssa, jonka mukaan ”mitä vähemmän ymmärrämme ilmiötä, sitä enemmän muuttujia tarvitsemme sen selittämiseksi”.⁷ Seuraavaksi kuvaamme näitä vaiheita tarkemmin.

1.1.1 Seulonta (Screening)

Tässä vaiheessa tutkitaan suuri määrän muuttuja. Tavoitteena on tunnistaa pienempi määrä muuttujia (siis seuloa muuttujia suuresta määrästä), joita tutkitaan edelleen karakterisointi- tai optimointikokeissa. Pareto-periaate ja kokemus ovat osoittaneet, että tyypillisesti kolmesta kuuteen tekijällä on suuri vaikutus prosessin suorituskykyyn. Tätä seulonnan kriittistä perustaa käsitellään tarkemmin artikkelissa myöhemmin. Taulukossa 1 todetaan myös, että Plackett–Burman, osittaistekijäkokeita ja DSD-suunnitelmia (Definite Screening Design) käytetään usein tällaisissa tutkimuksissa. Ajojen (koerivien) määrä vaihtelee tyypillisesti 8:sta 32:een riippuen koeasetelmasta ja tutkittujen muuttujien määrästä.

Seulontakokeiden käytön taustalla oleva teoria sisältää seuraavat:

• Pareton periaatetta sovelletaan heittämällä ”leveä verkko”, jotta napataan ne kolmesta kuuteen tekijää  (X:t), jotka vaikuttavat prosessiin. Syy-seurausmatriisia ja vikatila-ja vaikutusanalyysiä (FMEA) käytetään yhdessä seulontakokeiden kanssa 3-6:n kriittisen X:n löytämiseksi.

TAULUKKO 1 Kokeellisten ympäristöjen vertailu.

Ominaisuus	Seulonta	Karakterisointi	Optimointi
Tekijöiden lukumäärä	Enemmän kuin 6	3–6	2–5
Halutut tiedot	Kriittiset tekijät	Ymmärtää kuinka systeemi toimii	Ennusteyhtälö, optimointioperointi-ikkuna
Mallin tyyppi	Lineaarinen tai päätekijävaikutukset	Lineaariset ja keskinäisvaikutukset	Lineaariset, keskinäisvaikutukset ja epälineaariset
Koesuunnitelma	Plackett–Burmanosittaistekijäkokeet, DSD	Täystekijä ja osittaistekijäkokeet	Vastepintakokeet
Tyypillinen ajojen määrä	8–32	12–32	12–40

• Lineaariset vaikutukset dominoivat ^9-11, joten seulontakokeiden avulla löydetään ne muutamat kriittiset tekijät, jotka ohjaavat prosessia. Neliöllisiä ja yhteis/vuoro/keskinäisvaikutuksia (interaction effects) ei jätetä huomiotta, vaan ne ovat toissijaisia harkinnassa. Snee¹¹ analysoi 46 tutkimusta, joihin sisältyi 58 vastepintaa. Lineaariset vaikutukset olivat suurimmat kahdessa kolmasosassa (39/58=67,2 %) vastepintakokeista. Neliölliset olivat hallitsevia kuudella ja yhteis/vuoro/keskinäisvaiktukset kolmella 58:sta vastepintakokeesta.
• Lineaariset additiiviset mallit ovat robusteja kohtalaisille vasteiden kaarevuuksille- ja yhteis/vuoro/keskinäisvaikutuksille, joita voi esiintyä.
• Ole rohkea, mutta älä holtiton. Muuttjien (X:en) laaja-alainen testaaminen lisää signaali/kohinasuhdetta ja lisää siten tärkeiden lineaaristen vaikutusten löytämisen todennäköisyyttä. Aihealueen tuntemus on otettava huomioon tekijätasoja valittaessa.
• Varsinkin tutkimuksen alussa ilmiöstä tiedetään vähän. Seulontakokeet antavat hyvää tietoa muutamalla ajolla ja lisäävät mahdollisuuksia tunnistaa tärkeitä tekijöitä.

Lisäseulontakokeita, joihin liittyy lisää tekijöitä, voidaan tarvita, jos ensimmäisten seulontakokeiden tulokset eivät ole lupaavia. Olemme useaan otteeseen nähneet seulontakokeen ratkaisevan ongelman. Kun tutkittavasta systeemistä tiedetään hyvin vähän, käytetään joskus ”aluetta hakevia” kokeita (range-finding), joissa ehdokastekijöitä vaihdellaan tekijä kerrallaan, jotta saadaan käsitys siitä, mitä tekijätasoja olisi tarkoituksenmukaista harkita.

1.1.2 Karakterisointi (Characterization)

Tässä vaiheessa kokeella pyritään ymmärtämään systeemiä paremmin arvioimalla yhteis/vuoro/keskinäisvaikutuksia ja lineaarisia (pää)vaikutuksia. Ei ole epätavallista, että tunnistetaan tekijöitä, joilla ei ole vaikutusta. Tässä vaiheessa huomaamme usein, että eri tasot kuin aikaisemmin on otettava huomioon tulevissa kokeissa. Tässä vaiheessa käytetään tyypillisesti täystekijä ja osittaistekijäkoesuunnitelmia, joihin sisältyy 12–32 ajoa.

1.1.3 Optimointi (Optimization)

Tässä vaiheessa vastepintasuunnitelmasta saatua dataa käytetään systeemin toimintaa ennustavan mallin kehittämiseen. Tämän mallin avulla voidaan ymmärtää paremmin kyseistä prosessia ja löytää käyttökelpoisia prosessin käyttöalueita. Tässä käytetään ennusteyhtälöitä vastepintakaavioiden rakentamiseen ja matemaattisen optimoinnin suorittamiseen. Näissä tutkimuksissa käytetään tyypillisesti vastepintamalleja (kuten cental-composite, face-centered cube ja Box-Behnken), joihin sisältyy yleensä 12–40 ajoa. Huomaa, että emme yleensä suosittele optimointikokeita, joissa on enemmän kuin viisi tekijää. Optimointikoesuunnitelmat, joissa on enemmän kuin viisi tekijää ovat kalliita, vaatien yleensä yli 40 ajoa.

Näissä kolmessa vaiheessa suosittelemme, että kokeen ”suupalan koko” olisi enintään 30–40 ajoa. Vaikka näemme suurempia kokeita tehtävän, uskomme, että tämä kokeen koko on hyvä kompromissi hyödyllisen tiedon saamisen ja kokeilu- ja oppimisprosessin nopeuttamisen välillä. Pienemmillä kokeilla opitaan yleensä nopeammin. 

1.1.4 Robustisuus (Robustness)

Taguchi toi robustisuuden tärkeyden koestrategiaan 1980-luvun alussa. Yleistäen voidaan sanoa, että robustiin prosessiin, tuotteeseen tai palveluun eivät vaikuta hallitsemattomat vaihtelun lähteet. Robustisuudesta keskustellaan osana koestrategiaa (katso lähde 2) ja se on osa optimointivaihetta.

Tämä strategia sisältää useita strategioita, jotka ovat kokonaisstrategian osajoukkoja, kuten taulukossa 2 on tiivistetty. Kunkin sekvenssin tulos on valmis projekti. Onnistumisesta ei ole takeita missään tapauksessa, mutta tiedetään, että strategian käyttö nostaa mahdollisuuksia oikeiden vastausten löytämisessä.^2,3

Meidän on pidettävä mielessä Dave Baconin havainto – varsinkin kun työskentelet olemassa olevan prosessin kanssa – että voi olla vain aikaa, rahaa ja prosessiaikaa suorittaa yksi koe.^12–14 Tämä tilanne kuuluu suunnittelustrategiaan, jossa otetaan huomioon kaikki tekijät ja suoritetaan useita kokeita, kun ongelman ratkaisemiseksi käytetään useita kokeita. Olemme nähneet tällaisen strategian toimivan useaan otteeseen.

Box¹⁵ käsittelee tämän strategian haittapuolia ja muistuttaa, että olisi aina keskityttävä oppimiseen. Hän kommentoi: ”Mielestäni käytämme liikaa aikaa yhden laukauksen tilastollisiin menetelmiin, joiden tarkoituksena on pikemminkin testata kuin oppia. Olen selittänyt, miten tämä on tapahtunut, suurelta osin sen ajatuksen vuoksi, että voimme synnyttää tilastotietoa työpöydän ääressä syntyneistä matemaattisista ideoista.”

TAULUKKO 2 Strategiat, jotka sisältävät kokeiden seulonta-, karakterisointi- ja optimointivaiheet. Vaihejärjestys on seulo, karakterisoi, optimoi.

Strategia	Seulonta	Karakterisointi	Optimointi
1	X	X	X
2	X		X
3	X	X
4		X	X
5	X
6		X
7			X

Käytetty strategia riippuu kokeellisesta ympäristöstä, jossa huomioidaan kokeellisen tutkimuksen tavoitteet. Ominaisuudet, joita voidaan käyttää kokeellisen ympäristön luonnehditaan, on esitetty taulukossa 1. Näitä ominaisuuksia ovat tutkimuksen tavoitteet, tekijöiden (X) ja vasteiden luonne (Y), käytettävissä olevat resurssit, synnytettävän tiedon laatu ja käytettävissä oleva teoria kokeen suunnittelun ja analyysin ohjaamiseksi. Kokeellisen ympäristön huolellisella diagnosoinnilla voi olla suuri vaikutus kokeellisen tutkimuksen onnistumiseen.

2.  JOTEN MIKÄ ON ONGELMA?

Karakterisointi (täystekijä- ja osittaistekijäkokeet) ja optimointisuunnitelmat (vastepintakokeet) saavat paljon keskustelua kirjallisuudessa ja käyttöä koetoiminnassa. Seulontasuunnitelmista keskustellaan ja niitä käytetään harvemmin. Tätä on vaikea ymmärtää, kun seulontakokeiden käytöllä on niin monia etuja, kuten alla on tiivistetty.

2.1 Seulontakokeiden käytön hyödyt

• vähentää tärkeiden muuttujien löytymisen epäonnistumisen riskiä;
• nopeuttaa hyödyllisten ratkaisujen löytämistä;
• vähentää koekustannuksia
• tarvitaan vähemmän aikaa ja koeajoja;
• nopeuttaa tiimin menestystä¹⁶ ja
• lisää ymmärrystä prosessista mitä enemmän muuttujia otetaan huomioon ja testataan.

Seulontakokeiden suorittamatta jättäminen johtaa moniin menetettyihin mahdollisuuksiin. Kamm¹⁷ käsittelee tilannetta, jossa menestyslääke oli kehitteillä 8 vuotta, mutta sitä ei voitu validoida. Yhdeksän tekijän seulontakoe suoritettiin. Heittämällä ”verkkonsa leveäksi” tutkijat löysivät tärkeän prosessimuuttujan, jonka vaikutusta ei tiedetty ennen koesuunnitelman suorittamista 8 vuoden kehitystyön jälkeen.

Snee¹⁸ raportoi, että viskositeettimittauksen kestävyystestissä (ruggedness test) muuttuja, jolla havaittiin olevan suurin vaikutus seitsemästä tutkitusta tekijästä, oli ero kahden karan välillä, joiden ”tiedettiin” aiemmin olevan suorituskyvyltään identtisiä (ks. kohta 4.4).

2.2 Seulantakokeiden suorittamisen vastustus

Seulontakokeiden käyttöön on olemassa useita erilaisia vastustuksen lähteitä. Yksi on se, että seulontakokeiden arvoa ei tunneta. Aihe saa vain vähän tai ei lainkaan keskustelua koesuunnittelua käsittelivissä oppikirjoissa tai lyhyillä kursseilla kokeiden suunnittelusta. Merkittävä poikkeus on Lawsonin ja Erjavecin kirja.¹⁴ Toinen vastustuksen lähde on strategisen ajattelun puute. Muut kirjoittajien havaitsemat vastustuksen lähteet on tiivistetty taulukkoon 3.

TAULUKKO 3 Vastustuksen lähteitä seulontakokeiden käytölle ja liittyvät kommentit.

Vastustuksen lähde	Kommentti
Työskentely suuren tekijäjoukon kanssa on monimutkaista	Tekijöiden määrä voi olla suuri, mutta ajojen määrä on pieni; tyypillisesti 8-32. Pareto-periaate: useimmissa prosesseissa 3-6 tekijää ovat tärkeitä; joskus vain 1 tai 2.
Huoli että tärkeitä keskinäisvaikutuksia tai käyryyksiä ei löydetä	Lineaari/päätekijät tyypillisesti dominoivat11; Kaksitasoiset suunnitelmat ovat robusteja kohtuullisille määrille yhdys/vuoro/keskinäisvaikutuksia ja käyryyttä: Keskeinäisvaiktuksissa on yleensä mukana tekijöijä joilla on suuri vaikutus.
Kaksitasoiset seulontasuunnitelmat eivät löydä käyriä vasteita	Käytä kolmitasoisia suunnitelmia kuten DSD ja kolmitasoisia ortogonaalisuunnitelmia
Kritiikki Plackett–Burman suunnitelmia vastaan	Päätekijät eivät ole riippumattomia kahden tekijän keskinäisvaikutuksista johtaen keskinäisvaikutusten ja päätekijävaikutusten osittaiseen sekoittumisen; Tämä ongelma voidaan ratkaista käyttämällä suunnitelman ”taittamista” (fold-over)
Seikkailumielen puute	Älä ole arka. Ole rohkea, mutta älä holtiton. Tutki suuri joukko tekijöitä. Heitä verkkosi laajalle, jotta yksikään tärkeä muuttuja ei jää löytymättä. Tutki tekijätasojen suuria muutoksia.
Ositettuja tekijäkokeita ei ole saatavissa 12 ajolle ja 16-32 ajoille	Plackett–Burman suunnitelmat ovat käytettävissä 12, 20, 24, ja 28 ajolle

Mielenkiintoista on, että vaikka seulontakokeiden suorittamista vastustetaan, kirjallisuudessa on vain vähän esimerkkejä epäonnistuneista seulontakokeista. Kirjoittajien kokemuksen mukaan seulontakokeiden epäonnistumiset johtuvat:

• Suunnittelmassa tekijöiden alueiden vaihtelu (range) on liian laaja, mikä johtaa ajoihin, joita ei voida ajaa; laitteet eivät toimi. Ohjenuorana on olla rohkea, mutta ei holtiton. Suojautuaksesi ajoilta, jotka eivät toimi, suosittelemme, että epäillyt ajot suoritetaan ensin. Jos ongelmia ei ilmene, ajetaan loput suunnitelmasta. Jos jotkut ajot eivät toimi, harkitse hankalien tekijöiden alueita (range) uudelleen. Toinen mahdollisuus on harkita tietokoneavusteista lähestymistapaa, jossa otetaan huomioon ajot, jotka eivät toimi.²¹
• Kokeen huono suunnittelu ja hallinnointi. Meidän on oltava varovaisia, jotta ajot saadaan järjestettyä ja suoritettua asianmukaisesti. Huolimaton kokeen käytännön hallinnointi voi vähentää merkittävästi kokeen arvoa. Coleman ja Montgomery²² sisältävät hyviä neuvoja tästä aiheesta.

3. SEULONTAKOKEIDEN KÄYTTÖÖN LIITTYVÄT KYSYMYKSET

Plackett–Burman-suunnitelmien käyttämisellä seulontakokeissa on haittapuolensa, lähinnä siksi, että lineaariset vaikutukset eivät ole vapaita ja puhtaita yhteis/vuoro/keskinäisvaikutuksista. Plackett–Burman-suunnitelmissa lineaariset vaikutukset sekoittuvat osittain yhteis/vuoro/keskinäisvaikutuksiin. Oleellinen sana tässä on ”osittain”. Lineaariset vaikutukset sekoittuvat osittain yhteis/vuoro/keskinäisvaikutusten lineaarisiin yhdistelmiin, eivät yksittäisiin vuorovaikutuksiin.^23–25 Jokainen päävaikutus on osittain sekoittunut jokaisessa kahden tekijän yhteis/vuoro/keskinäisvaikutuksessa, johon muuttuja ei liity. Esimerkiksi neljän tekijän tapauksessa tekijän A vaikutus on aliasoitu seuraavasti:

−(1∕3) BC +(1∕3) BD −(1∕3) CD

Tämä ongelma voidaan ratkaista käyttämällä suunnitelman ”taittamista, (folding)”, joissa suunnitelman toinen puoli on ensimmäisen puoliskon peilikuva. Esimerkiksi 24 ajon suunnitelma 12 tai pienemmälle tekijöiden määrälle voitaisiin rakentaa käyttämällä 12 ajon Plackett–Burman-suunnitelmaa ja sen taittamista, jolloin saadaan 24 ajon suunnitelma. Tällaisen suunnitelman etuna on, että lineaariset vaikutukset ovat riippumattomia toisistaan ja yhteis/vuoro/keskinäisvaikutuksista. Haittapuolena on, että taitetussa suunnitelmassa on kaksi kertaa enemmän ajoja, mikä lisää kokeen kustannuksia.

Plackett–Burman-suunnitelmat ovat houkuttelevia, koska ne toimivat. Näillä suuunnitelmilla voidaan kokeilla suurta määrää tekijöitä pienellä määrällä ajoja. Ne lisäävät joustavuutta tarjoamalla suunnitelmia, joille ei ole olemassa ositettuja tekijäkokeita (fractional factorial designs). Plackett–Burman-suunnitelmat ovat erittäin hyödyllisiä, koska ne tarjoavat suunnitelmat 12, 20, 24 ja 28 ajolle, joita kaksitasoiset tekijäkokeet eivät tarjoa. Plackett–Burman-suunnitelmia on olemassa neljän kerrannaisille, jotka vaihtelevat 4–200 ajon välillä.

TAULUKKO 4 Markkinointimainonnan tutkimus: tutkitut tekijät ja tekijöiden tasot.

Koodi	Tekijä	Kontrolli (-)	Uusi idea (+)
A	Kirjekuoren ”teaser”	Yleinen tarjous	Tuotekohtainen tarjous
B	Palautusosoite	Tuntematon	Lisää yrityksen nimi
C	“Virallinen” leima kirjekuoressa	Kyllä	Ei
D	Postimaksu	Esitulostettu	Postimerkki
E	Lisägrafiikka kirjekuoressa	Kyllä	Ei
F	Hintagrafiikka kirjeessä	Pieni	Suuri
G	Tarra	Kyllä	Ei
H	Personoitu kirjeen teksti	Ei	Kyllä
I	Viestin teksti	Kohdennettu	Yleinen
J	Kirjeen otsikko	Otsikko 1	Otsikko 2
K	Hyötyjen lista	Vakio pohja	Luova pohja
L	P.S kirjeessä	Kontrolliversio	Uusi P.S
M	Allekirjoitus	Päällikkö	Ylempi johtaja
N	Tuotevalikoima	Useita	Muutomia
O	Ilmaislahjan arvo	Korkea	Matala
P	Vastauskuori	Kontrolli	Uusi tyyli
Q	Tieto mainoslapussa	Tuotteen tiedot	Ilmaislahjan tieto
R	Toinen mainoslappu	Ei	Kyllä
S	Korkotaso	Matala	Korkea

Bell et al.²⁶  käyttivät 20 ajon Plackett–Burman -suunnitelmaa seuloakseen 19 tekijän vaikutuksia mainonnan vastausprosenttiin. Tällaisen suunnitelman sanotaan olevan ”kyllästynyt, saturoitu” siinä mielessä, että vaikutusten lukumäärä (plus vakiotermi) on yhtä suuri kuin ajojen lukumäärä. Tämä ei ole suuri ongelma, koska vain pienen osan tekijöistä uskotaan olevan tärkeitä. Suoritamme kokeen selvittääksemme, mitkä!

Tekijät, suunnitelma ja vastedata on esitetty  taulukossa 4 ja liitteiden taulukossa A1.²⁷ Lineaarisen mallin regressioanalyysin tulokset esitetään taulukossa 5. Kuvassa 3 on esitetty tekijävaikutukset (2 × regressiomallin kertoimet) tärkeysjärjestyksessä ja luottamusrajojen kanssa (t ×2 × kerroin SE, jossa  t on Studentin t jäännös-SD:hen liittyville vapausasteille). ²⁸

On suosittua näyttää tekijävaikutukset käyttämällä Pareto-kaaviota, jonka rajoitteena on, että se ei näytä tekijävaikutusten suuntaa (positiivinen ja negatiivinen). Kuvan 3 etuna  Pareto-kaavioon verrattuna on, että vaikutusten suunnat näytetään (positiivinen ja negatiivinen) ja luottamusrajoilla, jotka tarjoavat testin vaikutusten merkittävyydestä.

Merkitsevyys- ja luottamusvälitestit laskettiin olettaen, että kuusi pienintä vaikutusta (A, B, C, D, M ja N) olivat kokeellisen vaihtelun mittareita. Yleissääntönä on, että testattaessa tilastollista merkitsevyyttä seulontakokeissa ja muissa tilastollisissa analyyseissä vaaditaan vähintään viisi vapausastetta koe vaihtelun arvioimiseksi.¹⁴

13 tekijän lineaarisessa regressiomallissa oikaistu R²  = 95 % ja variaatiokerroin = 9,9 %. Tulokset osoittavat, että vain viidellä tekijällä on suuri vaikutus (G, I, J, R ja S). Kun keskinäisvaiktyksia lisätään malliin, mikään näiden viiden tekijän välisistä yhdys/vuoro/keskinäisvaikutuksista ei ollut tilastollisesti merkitsevä. Näin ollen 19 tekijää on testattu 20 ajon kustannuksella ja viisi suurta vaikutusta on löydetty. Näiden viiden tekijän parhaat tasot on esitetty taulukossa 6. Huomaamme, että vain tekijä I (käyttämällä ”yleistä tekstiä”) tuotti parannuksen perustilaan verrattuna.

TAULUKKO 5 Markkinointimainonnan tutkimus: lineaarisen mallin regressiotulokset.

Termi	Kerroin	SE kerroin	T-arvo	p-arvo	VIF
Vakio	1.298	0.0286	45.38	0
E	0.046	0.0286	1.61	0.159	1
F	−0.064	0.0286	−2.24	0.067	1
G	−0.278	0.0286	−9.72	0	1
H	0.052	0.0286	1.82	0.119	1
I	0.148	0.0286	5.17	0.002	1
J	−0.096	0.0286	−3.36	0.015	1
K	0.044	0.0286	1.54	0.175	1
L	−0.058	0.0286	−2.03	0.089	1
O	0.046	0.0286	1.61	0.159	1
P	−0.048	0.0286	−1.68	0.144	1
Q	−0.04	0.0286	−1.4	0.211	1
R	−0.152	0.0286	−5.31	0.002	1
S	−0.432	0.0286	−15.1	0	1

Huom: Kaikki tärkeät tekijät on korostettu keltaisella.

TAULUKKO 6 Markkinointimainonnan tutkimus: tärkeät tekijät ja tasot.

Koodi	Tekijä	Kontrolli (-)	Uusi idea (+)
G	Tarra	Kyllä	Ei
I	Viestin teksti	Kohdennettu	Yleinen
J	Kirjeen otsikko	Otsikko 1	Otsikko 2
R	Toinen mainoslappu	Ei	Kyllä
S	Korkotaso	Matala	Korkea

Huomautus: Lihavoitu teksti osoittaa tekijöiden parhaat tasot.

3.1 Loput tarinasta

Markkinointijohtaja oli erittäin tyytyväinen seulontakokeen tuloksiin ja halusi jatkaa koetta. Neljä jatkokokeessa tutkittua tekijää olivat: vuosimaksu, tilin avausmaksu, aloituskorko ja pidemmän aikavälin korko. Korolla oli suurin vaikutus seulontakokeessa. Koska näiden tekijöiden välillä odotettiin olevan jonkin verran yhteis/vuoro/keskinäisvaikutuksia, käytettiin 2⁴ täystekijäkoetta (karakterisointikoe). Kaksi tilastollisesti merkittävää yhteis/vuoro/keskinäisvaikutusta tunnistettiin.

Bell et ai.²⁶ toteaa, että ”näiden kokeiden erityiset havainnot johtivat välittömiin ja merkittäviin parannuksiin: lisääntyneeseen vastausprosenttiin, alhaisempiin kustannuksiin ja suurempiin voittoihin. Pidemmän aikavälin hyödyt ovat kuitenkin olleet vieläkin merkittävämpiä. Tämä tutkimus tutustutti yrityksen formaalien koesuunnittelumenetelmien käyttöön.”

3.2 Pareto periaate

Kriittinen oletus seulontakokeissa on, että Pareto-periaate pätee. Pareto periaatteen mukaan 80 % vaihtelusta johtuu 20 %:sta syistä.²⁹ Kokemus prosessimallinnuksesta ja suunnitelluista kokeista on osoittanut, että kolmesta kuuteen tekijää, joita kutsumme ”tärkeiksi tekijöiksi”, selittävät suurinta osaa vasteen vaihtelusta.

Tarkistaaksemme olettamuksemme, että tyypillisesti kolmella tai kuudella muuttujalla on suuret vaikutukset prosessiin, analysoimme 47 tapaustutkimusta (case), joissa on käytetty  seulontakokeita (yksityiskohdat esitetty taulukossa B1 ja seulontakokeiden tapaustutkimusten viitteet viitteissä  20,23,26,30–58,60–68), jotka löytyvät kirjallisuudesta. Rajoitimme tutkimuksemme yhdeksään tai useampaan tutkittuun tekijään, jotta useilla tekijöillä voidaan havaita olevan suuria vaikutuksia. ”Tärkeiden tekijöiden” määrä vaihteli 1:stä 10:een mediaanian ollessa 5 ja 91 %:lla (43/40) oli kuusi tai vähemmän ”tärkeitä tekijöitä”. Näistä tuloksista on yhteenveto taulukossa 7. Johtopäätöksenä voidaan todeta, että on kohtuullista olettaa, että useimpia prosesseja hallitsee kolmesta kuuteen tekijää.

Robustisuus yhteis/vuoro/keskinäisvaikutustekijöiden ja kaarevien vasteiden tapauksissa huolestuttaa tutkijoita. Ensinnäkin, kuten kuvassa 4 esitetään, suoraviivainen malli tunnistaa tekijät, joilla on ”vaatimaton määrä” kaarevuutta. Me kaikki tiedämme, että kaarevaa viivaa voidaan arvioida suoralla viivalla. Muista, että seulontakokeessa tavoitteenamme on tunnistaa muuttujat, joilla on suuri vaikutus. Vaikutusten tarkkaa mallinnusta arvioidaan optimointikokeissa, joiden tarkoituksena on muun muassa kehittää ennusteyhtälöitä.

TAULUKKO 7 Yhteenveto suunnitelman ominaisuuksista: suunnitelmat tyyppi, suunnittelun koko, tutkittujen tekijöiden lukumäärä ja tunnistetut tärkeät tekijät.

A		B		C		D
Suunnitelman tyyppi	Määrä	Suunnitelman koko (n)	Määrä	Tunnistettujen tekijöiden (x) määrä	Määrä	Tärkeiden tekijöiden (x) määrä	Määrä
DSD	2	12	12	9	10	1	1
FF	15	16	12	10	7	2	9
FF (27)	2	18	1	11	11	3	1
PB	25	19	1	12	3	4	10
PB 12 Taitettu	1	20	11	13	1	5	16
PB 20 Taitettu	1	21	2	15	8	6	6
PB 24 Taitettu	1	24	2	18	1	7	3
		27	2	19	3	10	1
		28	1	22	1
		40	1	23	2
		48	1
		64	1
Yhteensä	47		47		47		47

Lyhenteet: DSD, definitive screening design; FF, fractional-factorial design (osittaistekijäkoe); PB, Plackett–Burman-suunnitelma.

Yhteis-/vuoro-/keskinäisvaikutusten tapauksessa täytyy muistaa, että kokemus on osoittanut, että muuttujat, joilla on suuri vaikutus, ovat usein yhteis-/vuoro-/keskinäisvaikutus. Kuva 5 näyttää vaikutuksen kahden tärkeimmän tekijän (S ja G) välillä, jotka tunnistettiin markkinointimainontatutkimuksessa (Bell et al.²⁶ ). Kuten kuvasta 5 käy ilmi, additiivinen malli arvioi yhteis/vuoro/keskinäisvaikutusta hyvin. Päätelmä (vastausprosentin lisäämiseksi) S:n ja G:n asettamisesta alhaiselle (”nykyiselle”) tasolle on sama riippumatta siitä, sisältyykö vuoro/keskinäisvaiktuus S*G malliin vai ei.

Huomautamme, että kuvat 4 ja 5 kuvaavat vaatimattomia määriä kaarevuus- ja yhteis/vuoro/keskinäisvaikutusvaikutuksia, eikä niitä esitetä todisteina niiden havaitsemisesta lineaarisilla additiivisilla malleilla.

3.3 Seulontakoemallien asianmukaisuuden (adequancy) varmistaminen

”Vahvistuskokeet, (Confirmation Test)”, joissa käytetään kokeesta riippumatonta dataa⁶⁹ ja ”mallin sopivuustilastot”; jotka molemmat olisi tehtävä rutiininomaisesti osana mitä tahansa koeohjelmaa, soveltuvat seulontakoemallien pätevyyden (validity) tarkastamiseen. Vahvistuskokeiden tulosten tarkka ennustaminen osoittaa, että on kehitetty asianmukainen malli.⁷⁰ Kaksi hyödyllistä mallin sovituksen arvionnin lukua ovat mallin mukautettu R²  (Adjusted R-squared) ja variaatiokerroin (Coefficeint of Variation, jäännös-SD/vastekeskiarvo). Näiden tilastojen tulkinta riippuu niihin liittyvästä aihealueesta, korkea mukautettu R² ja alhaiset variaatiokertoimet (CV) osoittavat, että niihin liittyvä malli sopii hyvin dataan.

3.1.1 Seulontakokeen jälkeiset askeleet

Olet siis suorittanut seulontakokeesi. Mitkä ovat seuraavat askeleet? Vastaus riippuu tietysti tavoitteistasi. Joitakin vaihtoehtoja, jotka voivat auttaa sinua tekemään tämän tärkeän päätöksen, kuvataan alla ja esitetään kaavamaisesti kuvassa 6.

Ensinnäkin voi olla yksi tai useampi ajo, joka täyttää tavoitteesi. Näitä tekijäasetuksia voidaan vahvistuksen jälkeen käyttää uusina käyttöolosuhteina. Näemme kyseisen tilanteen kohdassa 4.3 käsitellyssä ”Yhden laukauksen tapaustutkimuksessa”. Kun additiivinen lineaarinen malli sopii riittävästi seulontakokeiden dataan, tuloksena saatavaa ennusteyhtälöä voidaan käyttää määrittämään käyttökelpoiset toimintaolosuhteet, joita testataan vahvistuskokeessa.

Jos tavoitteena on prosessin ymmärtämisen lisääminen, voit valita tekijät (X), joilla on suurimmat vaikutukset, ja suorittaa karakterisointikokeen yhteis/vuoro/keskinäisvaikutusten ymmärtämiseksi. Tai voit siirtyä suoraan optimointikokeeseen, jos tavoitteena on ennusteyhtälön ennusteen kehittäminen ja prosessin optimointi.

Niiden tekijöiden tasot, joilla on vain vähän tai ei lainkaan vaikutusta, voivat asettua jollekin tasolle seulontakokeessa testattujen tasojen rajoihin. Nämä tekijätasot valitaan yleensä käytännön näkökohtien, kuten kustannusten, ajan ja prosessin tavoitteiden perusteella.

3.4 Kolmitasoisten suunnitelmien käyttö

Toinen tapa käsitellä kaarevaa vastetta on käyttää kolmitasoisia suunnitelmia. Kaksi suunnitelmatyyppiä ovat DSD: t¹⁹ ja kolmitasoiset ortogonaaliset matriisit.^20,71 Yleisesti ottaen, kun käytetään kolmitasoisia suunnitelmia, se johtaa ajojen vastaavaan määrän kasvuun. DSD vaatii vähemmän ajoja kuin kolmitasoiset ortogonaaliset matriisit. DSD:n ajojen määrä vaihtelee välillä  n = 2k + 1 – 2k + 4, jossa k = tekijöiden lukumäärä suunnitelmassa. DSD mahdollistaa jatkuvien tekijöiden päävaikutusten (lineaariset ja neliölliset) arvioinnin riippumatta keskinäisvaikutuksista.

Taulukossa 8 näemme neljä Taguchin ehdottamaa kolmitasoista seulontasuunnitelmaa.²⁰ Kaksi näistä malleista (L18 ja L36) sisältää sekä kolmi- että kaksitasoisia tekijöitä. Nämä seulontasuunnitelmat tarjoavat vaihtoehdon kolmitasoisten tekijöiden tutkimiseen. Näiden matriisien haittapuoli on, että ne vaativat yleensä enemmän ajoja kuin DSD.

TAULUKKO 8 Taguchin seulontakokeiden suunnitelmia.

Suunnitelma	Ajojen määrä	Tekijöiden ja tasojen määrä
L9	9	4 kolmella tasolla
L18	18	1 kahdella tasolla, 7 kolmella tasolla
L27	27	13 kolmella tasolla
L36	36	11 kahdella tasolla, 12 kolmella tasolla

4. SEULONTAKOKEIDEN TAPAUSTUTKIMUKSIA

Jaksossa 3 keskustelimme seulontakokeesta, jossa käytettiin 20 ajon Placket-Burman-suunnitelmaa seulomaan markkinointimainontaa koskevasta sovellutustutksesta (case) 19:sta tekijästä mahdollisia vaikutuksia. Tässä jaksossa esittelemme lisää tapaustutkimuksia, jotka havainnollistavat erilaisia tilanteita, joissa seulontatutkimuksia voidaan käyttää, ja käytettyjen koesuunnitelmien moninaisuutta. Käsitellyistä tapaustutkimuksista on yhteenveto taulukossa 9.

TAULUKKO 9 Yhteenveto seulontakokeita käyttävistä tapaustutkimuksista.

Tapaustutkimus	Tekijöiden (X) määrä	Suuria efektejä	N	Suunnitelma	Erikoispiirre
Mainonta	19	5	20	Plackett–Burman	Saturoidun suunnitelman käyttö
Väriaineen värjäytyminen	9	4	21	Definitive screening (DSD)	Definitive screening design (DSD) menetelmä
Keittimen pakokaasun tutkimus	9	4	27	L27	L27 suunnitelma
Viskositeettimittauksen vaihtelu	7	5	16	Kaksitasoinen ositettu tekijäkoe	Testimenetelmän robustisuus
Lasimateriaalin seulonta	10	5	16	Kaksitasoinen ositettu tekijäkoe	Usean vasteen seulontatapaus

Huomautamme, että kaikissa näissä tapaustutkimuksissa on neljästä viiteen tärkeää tekijää (suuria efektejä), kuten kohdissa  1.1 ja 3.1 keskusteltiin. 

4.1 DSD tapaus

Fidaleo et al.⁴⁷ kuvaavat DSD-koetta, joka sisältää yhdeksän tekijää 21 ajossa. Tekijät, koeasetelma, vastetiedot ja analyysiyhteenveto on esitetty taulukoissa 10, 11 ja 12 sekä kuvassa 7.

TAULUKKO 10 Väriaineen puhdistuksen tutkimus, tekijät ja valitut tekijöiden tasot.

Koodi	Tekijä	Ala (−1)	Keski (0)	Ylä (1)
1	Lämpötila (◦C)	20	35	50
2	pH	5	8	11
3	Väriaineen pitoisuus (mg/L)	60	90	120
4	Kloridipitoisuus (mM)	5	12,5	20
5	Sulfaattipitoisuus (mM)	35	50	65
6	Sekoitusnopeus (rpm)	250	500	750
7	Sähkövirran tiheys (A/m)	100	300	500
8	Elektrolyysiaika (min)	2	5	8
9	Elektrodien etäisyys (cm)	0,5	2	3,5

TAULUKKO 11 Väriaineen puhdistuksen tutkimus: koesuunnitelma ja vastedata.

Ajo	X1	X2	X3	X4	X5	X6	X7	X8	X9	Värin poisto %
1	0	1	1	1	1	1	1	1	1	96,3
2	0	-1	-1	-1	-1	-1	-1	-1	-1	3,6
3	1	0	-1	-1	-1	-1	1	1	1	99,1
4	-1	0	1	1	1	1	-1	-1	-1	7,4
5	1	-1	0	-1	1	1	-1	-1	1	6,4
6	-1	1	0	1	-1	-1	1	1	-1	96,9
7	1	-1	-1	0	1	1	1	1	-1	98,6
8	-1	1	1	0	-1	-1	-1	-1	1	14,2
9	1	-1	1	1	0	-1	-1	1	-1	40,8
10	-1	1	-1	-1	0	1	1	-1	1	75,2
11	1	-1	1	1	-1	0	1	-1	1	60,3
12	-1	1	-1	-1	1	0	-1	1	-1	59,9
13	1	1	-1	1	-1	1	0	-1	-1	93,8
14	-1	-1	1	-1	1	-1	0	1	1	84,1
15	1	1	-1	1	1	-1	-1	0	1	75,7
16	-1	-1	1	-1	-1	1	1	0	-1	46,4
17	1	1	1	-1	-1	1	-1	1	0	50,0
18	-1	-1	-1	1	1	-1	1	-1	0	62,1
19	1	1	1	-1	1	-1	1	-1	-1	33,5
20	-1	-1	-1	1	-1	1	-1	1	1	33,1
21	0	0	0	0	0	0	0	0	0	40,6

Ajojen 13 ja 14 todettiin olevan epätyypillisiä, eikä niitä otettu huomioon taulukossa 12 ja  kuvassa 7 esitetyssä analyysissä. Tämän mallin sovituksen tunnuslukuina korjattu R²  oli 86 % ja neliöllinen keskivirhe (RMSE) 11,9. Kun nämä kaksi ajoa otettiin mukaan analyysiin, korjattu R² 68 % ja RMSE 18,4. Molemmissa analyyseissä koe tunnisti neljä muuttujaa, joilla oli suuret lineaariset vaikutukset: X2, X3, X7 ja X8. Kaikki tilastollisesti merkitsevät vaikutukset olivat lineaarisia; neliöllisiä vaikutuksia arvioitiin, mutta minkään ei todettu olevan tilastollisesti merkitsevä.

TAULUKKO 12 Väriaineen puhdistuksen tutkimus: regressioanalyysin tulokset.

Termi		kerroin	SE		T-arvo		p-arvo	VIF
Vakio		52,64	2,73		19,3		0
X1		6,21	3,96		1,57		0,152	1,78
X2		10,72	3,96		2,7		0,024	1,78
X3		-11,16	3,96		-2,82		0,02	1,78
X4		7,83	3,96		1,98		0,079	1,78
X5		-0,34	3,96		-0,09		0,933	1,78
X6		1,67	3,96		0,42		0,684	1,78
X7		20,96	2,8		7,48		0	1
X8		14,97	3,96		3,78		0,004	1,78
X9		1,71	3,96		0,43		0,677	1,78

Huomautus: Lihavoitu tai keltainen tarkoittaa tilastollisesti merkitseviä vaikutuksia. Kaikki tärkeät tekijät on lihavoitu ja korostettu keltaisella.

Tutkimuksen tekijät valitsivat kolme tekijää, joilla oli suurimmat vaikutukset (X3, X7, X8) ja suorittivat 20 ajon komposiittisuunnitelman (CCD, central composite design) viidellä  keskipisteen toistolla. Ennusteyhtälö luotiin, tehtiin useita vahvistusajoja ja ennusteyhtälöä käytettiin validointiajojen tulosten ennustamiseen. Kirjoittajat päättelivät, että ”kaikki yksittäiset havainnot olivat hyvin sopusoinnussa ennustettujen arvojen kanssa ja osuivat 95%: n ennusteväleihin, mikä vahvisti luodun mallin päitevyyden. Ennusteyhtälöä voidaan siis käyttää ennustamaan väriainetta sisältävän jäteveden värinpoistotehokkuutta, kun väriaineen pitoisuus käsiteltävässä jätevedessä tunnetaan.”

4.2 Keittimen pakokaasun tutkimus

Taguchi²⁰ kuvaa kattilan pakokaasun tutkimisen koetta, jonka tavoitteena oli tunnistaa pakokaasun talteenottoon (ppm) vaikuttavat tekijät ja mahdollisuuksien mukaan tunnistaa optimaaliset käyttöolosuhteet kahdelle raskasöljytyypille. Kokeessa käytettiin 27 ajon koesuunnitelmaa (L27) taulukossa 13 esitettyjen yhdeksän tekijän vaikutusten testaamiseen. Taulukon 14 neljää saraketta  (e1, e2, e3, e4) käytettiin kokeellisen vaihtelun arvioimiseen.

Tämä tapaus (case) on erityisen mielenkiintoinen, koska se osoittaa, kuinka testata kaksitasoisia tekijöitä kolmitasoisessa suunnittelussa. Kyseiset tekijät ovat tekijät A, C ja F. Taulukossa 13 näemme, että yksi kunkin tekijän kahdesta tasosta toistetaan kahdesti. Kaksi kertaa käytetyt tasot olivat tekijä A, taso ”C”; Kerroin C, taso ”75” ja kerroin F, taso ”Ei”. Näin ollen kuusi tekijää testattiin kolmella tasolla ja kolme tekijää kahdella tasolla. Tässä tapauksessa käytettiin L27-mallia. Vaihtoehtoinen lähestymistapa olisi käyttää seulonta-asetelmia, jotka mahdollistavat sellaisten tekijöiden käytön, joihin liittyy kahden ja kolmen tason tekijöiden yhdistelmä. Esimerkiksi taulukosta 8 nähdään,  että L18- ja L36-malleilla on tämä ominaisuus.

TAULUKKO 13 Kattilan jätekaasun seulontatapaus: tutkitut tekijät ja tasot.

Koodi	Tekijä	1	2	3
A	Raskaan öjyn tyyppi (päätekijä)	C	A	C
C	Raskaan öljyn lämpötila	75	75	90
D	Keittimen kuorma	80	60	40
E	Ilmasuhde	22	20	24
F	Ilman esilämmitys	No	Yes	No
G	Ilmanottoaukon koko (yläpuoli)	3	2	4
H	Ilmanottoaukon koko (alapuoli)	3	5	4
I	Ylemmän polttimen paikka	10	5	0
J	Alemman polttimen paikka	0	5	10

Taulukosta 15 nähdään, että neljällä yhdeksästä tekijästä on merkittäviä vaikutuksia. Mikään neliöllisistä vaikutuksista ei ollut tilastollisesti merkitsevä (ks. pienet kaarevuusvaikutukset). Merkittäviä yhteis/vuoro/keskinäis/vaikutuksia ei havaittu supistetulla mallilla, jossa käytettiin neljää suurinta tekijää A, D, F ja G. Taulukossa 14 esitetty datan additiivinen malli  antaa sovitetun R² -arvon 95 ja variaatiokertoimen 5,5%. Nämä sopivuustilastot ovat lisätodiste adiitiviisisen mallin riittävyydestä.

TAULUKKO 14 Kattilan pakokaasun seulontakoe: kokeen suunnittelu- ja vastetiedot.

Ajo	A	e1	e2	e3	e4	C	D	E	F	G	H	I	J	NOXvähennys (ppm)
1	1	1	1	1	1	1	1	1	1	1	1	1	1	225,0
2	1	1	1	1	2	2	2	2	2	2	2	2	2	190,0
3	1	1	1	1	3	3	3	3	3	3	3	3	3	265,0
4	1	2	2	2	1	1	1	2	2	2	3	3	3	201,5
5	1	2	2	2	2	2	2	3	3	3	1	1	1	247,0
6	1	2	2	2	3	3	3	1	1	1	2	2	2	244,0
7	1	3	3	3	1	1	1	3	3	3	2	2	2	237,5
8	1	3	3	3	2	2	2	1	1	1	3	3	3	223,0
9	1	3	3	3	3	3	3	2	2	2	1	1	1	213,0
10	2	1	2	3	1	2	3	1	2	3	1	2	3	147,0
11	2	1	2	3	2	3	1	2	3	1	2	3	1	130,5
12	2	1	2	3	3	1	2	3	1	2	3	1	2	142,5
13	2	2	3	1	1	2	3	2	3	1	3	1	2	138,5
14	2	2	3	1	2	3	1	3	1	2	1	2	3	132,5
15	2	2	3	1	3	1	2	1	2	3	2	3	1	140,0
16	2	3	1	2	1	2	3	3	1	2	2	3	1	137,0
17	2	3	1	2	2	3	1	1	2	3	3	1	2	146,0
18	2	3	1	2	3	1	2	2	3	1	1	2	3	139,0
19	3	1	3	2	1	3	2	1	3	2	1	3	2	234,5
20	3	1	3	2	2	1	3	2	1	3	2	1	3	257,0
21	3	1	3	2	3	2	1	3	2	1	3	2	1	228,5
22	3	2	1	3	1	3	2	2	1	3	3	2	1	220,0
23	3	2	1	3	2	1	3	3	2	1	1	3	2	244,0
24	3	2	1	3	3	2	1	1	3	2	2	1	3	217,0
25	3	3	2	1	1	3	2	3	2	1	2	1	3	265,0
26	3	3	2	1	2	1	3	1	3	2	3	2	1	242,0
27	3	3	2	1	3	2	1	2	1	3	1	3	2	211,0

Koska vaikutukset olivat additiivisia (yhteenlaskeutuvia), optimaaliset käyttöolosuhteet olivat samat molemmille öljytyypeille. Optimaaliset olosuhteet ovat alhainen taso (40) tekijä D:lle ja korkeat tasot tekijöille E (24) ja G (4). Nämä valinnat voivat muuttua, kun käytännön näkökohdat otetaan huomioon. Muiden muuttujien parhaiden tasojen valinta ei ole merkittävää, ja se riippuu myös käytännön näkökohdista.

TAULUKKO 15 Kattilan pakokaasun seulontakoe: varianssianalyysi ja lineaaristen vaikutusten analyysi.

Lähde	DF	Adj SS	Adj MS	F-arvo	p-arvo	Lineaarinen vaikutus
A	1	50968,2	50968,2	415,58	0	92,2
C	1	330	330	2,69	0,129	7,4
D	2	1391,1	695,5	5,67	0,02	−17,6
E	2	2215,1	1107,5	9,03	0,005	22,1
F	1	160,2	160,2	1,31	0,277	−10,3
G	2	1596,5	798,3	6,51	0,014	17,8
H	2	34,9	17,4	0,14	0,869	1,2
I	2	339,5	169,7	1,38	0,291	7,8
J	2	281,6	140,8	1,15	0,353	7,1
Virhe	11	1349,1	122,6
Summa	26	58,666

Huomautus: Tekijöistä A, D, E ja G johtuvat suuret vaikutukset. Lihavointi tai keltainen osoittaa tilastollisesti merkitseviä vaikutuksia.

4.3 Seulonnan ja optimoinnin tekeminen yhdellä kokeella

Lawson¹³ käsittelee seulonnan ja optimoinnin suorittamista yhdelllä kokeella. Ajatuksena on suorittaa seulontakoe (screening), analysoida data tärkeiden tekijöiden tunnistamiseksi ja tutkia sitten keskinäisvaikutusten ja kaarevuuksien esiintymistä pienennetyssä tekijäjoukossa. Tämä on hyvä lähestymistapa tunnistaa muita mahdollisia tekijöitä, jotka voidaan sisällyttää tuleviin kokeisiin. Joissakin tapauksissa seulontakokeen tulokset voivat olla parempia kuin koskaan ennen ja ratkaisua käytetään suoraan prosessin ajamiseen. Yleensä varoitamme kokeen tekijöitä ”etenemään kevyesti”, kun he yrittävät saada seulontakokeista enemmän tietoa kuin tärkeät tekijät (suuret vaikutukset), jotka käyttävät ja ajavat prosessia. Yhden laukauksen (kokeen) strategiaa voidaan käyttää tehokkaasti, kun seuraavat ehdot täyttyvät:

• On paineita kokeen nopeaan läpivientiin ja aikaa, rahaa ja välineistöä on vain yhden kokeen toteuttamiseen.
• Koealue on hyvin määritelty. Tärkeinä pidetyt muuttujat tunnetaan. Testattavien muuttujien alueet ja testattavat tasot tunnetaan.
• Mallin oikeellisuus (validity) voidaan tarkistaa suorittamalla vahvistusajoja. Mallin oikeellisuus voidaan varmistaa myös tarkistamalla ennusteen tarkkuus (accurancy) mallia käytettäessä.^72,73

Yksi yhden laukauksen strategian rajoituksista on, että se jättää huomiotta Boxin koetoiminnan iteratiivisen luonteen ja peräkkäisten kokeiden oppimisnäkökulman, josta keskusteltiin aiemmin. Olemme käyttäneet yhden laukauksen strategiaa ja pidämme sitä tehokkaana, kun edellä käsitellyt ehdot täyttyvät. Olemme havainneet, että se on tehokkainta, kun kokeessa huomioidaan useita muuttujia varmistaaksemme, että tärkeitä muuttujia ei unohdeta.

4.3.1 Yhden laukauksen tapausesimerkki

Valmistusprosessin vianmääritys päättyi yhden laukauksen lähestymistapaan.¹⁸ Kuudella muovivalukoneella oli vaikeuksia valmistaa laadukkaita osia lääkinnälliseen laitteeseen. Valittu strategiana oli tehdä koe yhdellä koneista ja soveltaa asetuksia muihin koneisiin. Kokeessa käytettiin ositettua kaksitasoista tekijäkoetta, jossa tutkittiin kahdeksan muuttujan vaikutuksia 16 ajolla.

Optimaaliset tekijäasetukset valittiin. Vikojen määrä väheni 90%, mikä tuotti 375 000 dollarin vuotuiset säästöt. Seulontakokeen tulokset ”vahvistettiin” ajamalla prosessia seulontakokeessa tunnistetulla hyvillä tekijäasetuksella.

4.4 Testausmenetelmän robustisuus

Toinen tärkeä seulontakokeiden sovellus on testimenetelmän robustisuuden arviointi. Testimenetelmän robustisuutta käytetään laajalti lääkevalmistuksen ja kemian testilaboratorioissa.¹⁶ Youden⁷⁴ määritteli testimenetelmän robustisuuden, vakauden (ruggedness) seuraavasti: ”Mittausmenetelmän sanotaan olevan ”vakaa (ruggedness)”, jos se on immuuni kohtalaisille (ja väistämättömille) poikkeamille menetelmässä määritellyistä olosuhteista.” Arvioitavat tekijöiden tasot ovat siis ”menetelmässä määriteltyjä olosuhteita”. Suosituimmat koesuunnitelmat testimenetelmän robustisuuden arvioinnissa ovat kaksitasoiset osittaistekijäkoeet 2^(7–4) , 2^(8-4) ja Placket–Burman N =12.

Sneen¹⁸ käsittelemässä testimenetelmän tapaustutkimuksessa viskositeetti oli suurimenekkisen tuotteen kriittinen laatuominaisuus. Tuotteen laatu oli kärsinyt ja asiakkaat valittivat. Laboratorion tuottamissa viskositeettimittauksissa havaittiin suurta vaihtelua, jonka uskottiin aiheuttavan laatuongelman. Mittausprosessille päätettiin suorittaa robustisuuden testaus sen määrittämiseksi, mitkä testimenetelmän muuttujat, jos sellaisia on, vaikuttivat viskositeetin mittaukseen.

Koeprotokolla vaati seulontakoetta. Koesuunnitelma oli kaksitasoinen, 16 ajon ositettu tekijäkoe, joka mahdollisti päävaikutusten arvioinnin ja vuoro/keskinäisvaikutusten löytämisen kokeen testattujen seitsemän muuttujan välillä. Viidellä seitsemästä testatusta muuttujasta havaittiin olevan merkittäviä vaikutuksia. Testimenetelmä ei selvästikään ollut robusti (vakaa).

Muuttuja, jolla oli ylivoimaisesti suurin vaikutus, oli ero kahden kiinnityskaran välillä, joiden ajateltiin ennen seulontakoetta antavan samanlaisen suorituskyvyn. Tämä vaikutus ”vahvistettiin” myöhemmässä kokeessa. Testimenetelmää muutettiin uuden tiedon perusteella ja suljettiin pois prosessiongelmien aiheuttajien listalta.

4.5 Usean vasteen seulontakokeet

Seulontakokeiden analysointi ja tulkinta voi olla haastavaa, kun mukana on useita vasteita. Esimerkkinä tarkastelemme Gohinin ja Royn⁴⁸  16 ajon kaksitasoista ositettua tekijätutkimusta lasimateriaaliin. Seulontakoessa oli mukana yhteensä 10 tekijää MIttaukset tehtiin viidellä vasteella, kuten taulukosta 16 käy ilmi.

TAULUKKO 16 Lasimateriaalin seulontatutkimus: kokeen suunnittelu ja vasteet.

Testi	A	B	C	D	E	F	G	H	I	J	Virtaus	Kirkkaus	Happamuus	Jännitys	Kompressio
1	−1	−1	−1	−1	−1	−1	−1	−1	−1	−1	1546	99,5	83,0	23,5	11,5
2	−1	−1	−1	−1	−1	−1	1	1	1	1	1545	100,0	56,0	18,5	0,5
3	−1	−1	−1	1	1	1	−1	−1	−1	1	1592	91,0	46,0	20,5	4,5
4	−1	−1	−1	1	1	1	1	1	1	−1	1529	82,5	45,0	21,5	3,5
5	−1	1	1	−1	−1	1	−1	−1	1	−1	1600	97,0	48,0	18,5	2,5
6	−1	1	1	−1	−1	1	1	1	−1	1	1600	96,0	44,5	19,5	−2,5
7	−1	1	1	1	1	−1	−1	−1	1	1	1600	100,0	46,5	20,5	−0,5
8	−1	1	1	1	1	−1	1	1	−1	−1	1600	97,0	43,0	19,5	−0,5
9	1	−1	1	−1	1	−1	−1	1	−1	−1	1558	92,5	50,5	21,5	2,5
10	1	−1	1	−1	1	−1	1	−1	1	1	1550	84,0	42,0	18,5	−1,5
11	1	−1	1	1	−1	1	−1	1	−1	1	1486	80,5	45,0	14,5	−7,5
12	1	−1	1	1	−1	1	1	−1	1	−1	1519	84,0	46,5	15,5	−5,5
13	1	1	−1	−1	1	1	−1	1	1	−1	1395	89,0	52,5	19,5	0,5
14	1	1	−1	−1	1	1	1	−1	−1	1	1391	71,5	46,5	18,5	0,5
15	1	1	−1	1	−1	−1	−1	1	1	1	1482	77,5	50,5	18,5	−0,5
16	1	1	−1	1	−1	−1	1	−1	−1	−1	1498	88,0	67,5	19,5	4,5

Tulosten tulkinta riippuu tietysti aiheesta ja kokeen kohteesta. Hyödyllinen yhteenveto vaikutuksista on  taulukossa 17  esitetty taulukko t-suhteista, jossa näemme kunkin tekijän ja vasteen tärkeät muuttujat keltaisella. Näytämme t-suhteet, koska tämä asettaa kaikki vaikutukset samaan mittakaavaan ja mahdollistaa vaikutusten vertailun vasteiden ja muuttujien välillä. Mallin soviuksen tilastot on näytetty taulukon alaosassa. Muunnettu R²-tilastot (Adjusted R²) vaihtelevat 44 %:sta 80 %:iin. Variaatiokertoimet (CV, coefficient of variation) vaihtelevat 2,7%: sta 10,6%: iin. Kompression CV-tilastolla ei ole arvoa, koska tämä vaste saa negatiivisia arvoja.

TAULUKKO 17 Yhteenveto lasimateriaalin seulontatutkimuksen lineaaristen mallien tuloksista.

t-suhteet
Termi	Muuttuja	Virtaus	Kirkkaus	Happamuus	Jännitys	Kompressio	Vaikutus Y määrään
A	Titanium Oxide	-4,44	-3,67	-0,50	-2,48	-3,18	4
B	Boron Oxide	-0,96	0,08	-0,69	0,00	-0,38
C	Sodium Oxide	3,24	1,22	-3,72	-1,86	-4,96	3
D	Zinc Oxide	0,73	-1,11	-1,51	-1,24	-1,91
E	Lithium Oxide	-0,37	-0,57	-3,17	1,86	0,64	1
F	Aluminum Oxide	-1,62	-1,80	-2,98	-1,86	-2,67	2
G	Lead Monoxide	-0,16	-0,92	-1,42	-0,93	-1,91
H	Calcium Oxide	-0,61	0,00	-1,79	-0,31	-2,42
I	Calcium Fluoride	-0,31	-0,08	-1,79	-0,93	-1,65
J	Na Silocofluoride	0,01	-1,11	-2,71	-1,55	-3,18	2
Suuret X’t		2	1	4	1	4
%Adj R2		62	44	73	45	80
RMSE		41	6,5	5,4	1,6	2
% CV		2,7	7,3	10,6	8,3	a
Keskiarvo		1531	89,4	50,8	19,2	0,75

  Lyhenteet: CV, Coefficient of Variation; RMSE, Root Mean Square Error.
 ^a Negatiivinen arvoiltaan, CV on merkityksetön.

Johtopäätöksenä on, että lineaarinen additiivinen malli sopii hyvin dataan ja keskinäisvaikutukset eivät ole suuria. Muuttujilla A, C, E, F ja J on yksi tai useampi merkitsevä t-suhde. Nämä ovat samat viisi muuttujaa, jotka kirjoittajat valitsivat, ja joita kommentoivat, että: ”Tärkeä tulos on, että merkityksettömiin lisäaineisiin ei tarvitse enää käyttää kokeellisia ponnisteluja, ja tutkija voi nopeasti keskittyä niihin viiteen tärkeään, jotka on tunnistettu.”

5. NOPEAT OSUMAT – JOITAKIN HAVAINTOJA JA OPPEJA, JOITA KOKEEN TEKIJÄT OVAT PITÄNEET HYÖDYLLISINÄ

5.1 Saturoidut seulontakokeet

Kun seulontakokeessa (screening) tutkittavien tekijöiden määrä on yksi vähemmän kuin suunnitelman ajojen määrä, koeasetelman sanotaan olevan ”saturoitu”. Palauta mieleen 19 tekijän ja 20:n ajon Plackett–Burman-suunnitelma, jota käytettiin markkinointimainontatutkimuksessa, josta keskusteltiin jaksossa 3. Koe on esimerkki saturoidun suunnitelman käytössä (ks. taulukot 4, 5 ja 6; Kuvio 3). Saturoiduista suunnitelmista voi olla hyötyä erityisesti silloin, kun uskotaan, että vain muutamat monista ehdolla olevista muuttujista ovat tärkeitä (aktiivisia, niillä on suuria vaikutuksia).

Hendrix⁵⁰ käsittelee ongelmaa, jossa uusi prosessi, kun se lanseerattiin tuotantoon, ei tuottanut tuotetta odotetulla tavalla. Kylmähalkeilun kestävyysarvo 22 oli ominaista ”epätavallisen hyvälle” tuotteelle. Ryhmä tuotekehityksestä ja valmistuksesta koottiin tunnistamaan, mitkä tärkeät muuttujat voisivat olla. Keskustelun jälkeen tunnistettiin 15 tekijää. Nämä tekijät päätettiin testata 16 ajon kaksitasoisessa osittaistekijäkokeessa.

Kokeen tulokset osoittivat, että seitsemällä 16 ajosta kylmähalkeilun kestävyysarvot olivat 22 tai suurempia. Tämä on jännittävää, mutta mitkä muuttujat tuottivat hyviä tuloksia? Datan analyysi osoitti, että kahdella 16 muuttujasta oli merkittäviä vaikutuksia. Toinen näiden kahden tekijän yhdistelmistä osoitti arvoja, jotka olivat jatkuvasti yli 23. Ongelma ratkaistu; asia loppuun käsitelty.

5.2 ”Kriittisen testin” suorittaminen on matalan tuoton strategia

Joskus, varsinkin kun mukana on useita tekijöitä, kokeen tekijä käyttää aihepiiritietoa päättääkseen, mitkä ajot suorittaa. Ajot suoritetaan yleensä peräkkäin etsimällä kriittistä testiä, joka ratkaisee ongelman. Tällainen strategia ei yleensä onnistu. Riittämätön prosessituntemus ja huono suunnittelu ovat tyypillisesti ongelman ydin. Mahdollisten tekijöiden kokonaisuutta ei yleensä oteta huomioon eikä hyvän kokeen periaatteita, kuten satunnaistamista ja koesuunnitelman toistamista noudateta.

Laboratorion johtaja käytti ”kriittisen testin” strategiaa tunnistaakseen uuden tuotteen, jossa olisi vähemmän epäpuhtauksia. Laboratorion johtaja tuli töihin joka päivä ja neuvoi teknikkoja siitä, mitä testejä oli suoritettava. Kun muutama testi ei tuottanut parempaa tuotetta, hän totesi, että tarvitaan ”muutama testi, jotka toimivat ”. Tuloksena oli sarja ”uusintatestejä”, ei suunniteltu sarja kokeita. 54 testin jälkeen parempaa tuotekoostumusta ei ollut löytynyt, eikä tekijöiden tärkeyttä tunnistettu. Laboratorion johtaja ei tunnistanut, että ”kriittisen testin” lähestymistapa on matalatuottoinen strategia. Tarvittiin toisenlainen strategia.

Aiemmissa testeissä saatu tieto oli hyödyllistä määriteltäessä parempaa strategiaa. Päätettiin suorittaa optimointikoe, koska siihen liittyi vain kolme tekijää ja vaihteluvälit olivat hyvin määriteltyjä. Käytettiin 15 ajon vastepintakoetta, johon sisältyi joitain toistotestejä ja kontrolleja, jotka johtivat yhteensä 23 testin sarjaan. Opittiin, että vaikuttavan aineen lisäämisellä ei ollut vaikutusta epäpuhtauksiin, joten tuotteelle valittiin testattu vähimmäistaso, mikä alensi tuotteen kustannuksia. Vastepinnan optimoinnin avulla löydettiin kahden muun tekijän yhdistelmä, joka minimoi epäpuhtauden.

Tämän reseptin ennustettu epäpuhtaus oli noin 50% pienempi kuin nykyisen tuotteen. Bonuksena oli, että kehitetty malli ennusti tarkasti vanhan tuotteen epäpuhtaudet. Tämä viittasi siihen, että mallia voitaisiin käyttää tulevaisuudessa tunnistamaan ratkaisuja muihin sovelluksiin, joissa siedetään korkeampia epäpuhtaustasoja.²

6. SEULONTAKOKEET AUTTAVAT SAAMAAN KOEOHJELMAT HYVÄÄN ALKUUN

Oppiminen, prosessien ymmärtäminen ja parantaminen sekä ongelmanratkaisu ovat perättäisiä prosesseja. Alussa ei voida tunnistaa, mitä tietoja tarvitaan ja missä vaiheessa. Tarvitaan strategia oikeanlaisen suunnitelman kehittämiseksi, jotta tarvittavat tiedot saadaan oikeaan aikaan. On tärkeää päästä hyvään alkuun ja työskennellä oikeiden muuttujien kanssa. Seulontakokeet (screening) ovat hyvä tapa aloittaa olemassa oleva prosessi tai tehdä sen ongelmien kartoittaminen (troubleshooting).

Tässä artikkelissa on käsitelty jaksossa 1 esiteltyjä tärkeitä seulontakokeeseen liittyviä kysymyksiä kokonaisvaltaisesti. Johtopäätöksenä on, että seulontakokeet, kun ne liittyvät yleiseen strategiaan, nopeuttavat kokeellisten ohjelmien onnistunutta loppuun saattamista ja vähentävät kokeiden määrää. Tämän seurauksena oikeaa dataa syntyy oikea määrä oikeaan aikaan.

Datan saatavuus

Tämän tutkimuksen tuloksia tukevat datat ovat saatavilla artikkelin alkuperäiseltä kirjoittajalta kohtuullisesta pyynnöstä.

Lähdeluettelo:

1. Pfeifer CG. Planning efficient and effective experiments. Mater Eng. 1988;1988:35-39.
2. Snee RD. Raise your batting average: remember the importance of sequence in experimentation. Qual Progr. 2009;2009:64-66.
3. Snee RD. Think strategically for design of experiments success. BioProcess Int. 2011;2011:18-25.
4. Box GEP. Integration of techniques in process development. Artikkeli esitetty: Transactions of 11th Annual Convention of American Society for Quality Control. 1957:687-702, (Reissued in 1990–91) (CQPI TR 39).
5. Andrews HP. Iterative nature of experimentation. In: Snee RD, Hare LB, Trout JR, eds. Experiments in Industry—Design, Analysis and Interpretation of Results. ASQ Quality Press; 1985.
6. Haaland P. Experimental Design in Biotechnology. Marcel Dekker; 1989.
7. Ackoff RL. Russell L. Ackoff quotes. Online Search; November 14, 2020.
8. Snee RD, Hoerl RW. Leading Holistic Improvement with Lean Six Sigma 2.0. FT Prentice Hall; 2018.
9. Li X, Sudarsanam N, Frey DD. Regularities in data from factorial experiments. Complexity. 2006;11:32-45.
10. Ockuly RA, Weese ML, Smucker BJ, Edwards DJ, Chang L. Response surface experiments: a meta-analysis. Chemom Intel Lab Syst. 2017;164:64-75.
11. Snee RD. Improve your team’s batting average – using screening experiments to get better results. Qual Progr. 2020;2020:26-33.
12. Bacon DW. Making the Most of a ‘one-shot’ experiment. Ind Eng Chem. 1970;62:27-34.
13. Lawson J. One-step screening and process optimization experiments. Am Stat. 2003;57(1):15-20.
14. Lawson J, Erjavec J. Basic Experimental Strategies and Data Analysis for Science and Engineering. CRC Press; 2017.
15. Box GEP. In: Tiao GC, Bisgaard S, Hill WJ, Pena D, Stigler SM, eds. Box on Quality and Discovery with Design, Control and Robustness. John Wiley and Sons; 2000 Page Box Discovery book.
16. Snee RD. Risk-based test method development, validation and life cycle. Amer Pharm Rev. 2019;2019:64-67.
17. Kamm JJ. Can You Win the Space Race?. Pharmaceutical Manufacturing; 2007.
18. Snee RD. Experimenting with a large number of variables. In: Snee RD, Hare LB, Trout JR, eds. Experiments in Industry—Design, Analysis and Interpretation of Results. ASQ Quality Press; 1985a:25-35.
19. Jones B, Nachtsheim CJ. A class of three-level designs for definitive screening in the presence of second-order effects. J Qual Technol. 2011;43(1):1-15.
20. Taguchi G. System of Experimental Design. Vol 1. American Supplier Institute; 1987a.
21. Snee RD. Computer-aided design of experiments: some practical experiences. J Qual Technol. 1985b;17(4):222-236.
22. Coleman DE, Montgomery DC. A systematic approach to planning for a designed industrial experiment. Dent Tech. 1993;35:1-12.
23. Montgomery DC. Design and Analysis of Experiments. 9th ed. John Wiley and Sons; 2017a.
24. Box GEP, Hunter JS, Hunter WG. Statistics for Experimenters: Design, Innovation and Discovery. 2nd ed. John Wiley and Sons; 2005.
25. Daniel C. Applications of Statistics to Industrial Experimentation. John Wiley and Sons; 1976.
26. Bell GH, Ledolter J, Swersey AJ. Experimental design on the front lines of marketing: testing new ideas to increase direct mail sales. Int J Res Market. 2006a;23(3):309-319.
27. Ledolter J, Swersey AJ. Testing 1-2-3—Experimental Design with Marketing and Service Operations.Stanford University Press; 2007.
28. Hoerl RW, Snee RD. Statistical Thinking: Improving Business Performance. 3rd ed. John Wiley and Sons; 2020.
29. Juran J, Godfrey AB, eds. Use of the pareto principle. Juran’s Quality Handbook. 5th ed. McGraw-Hill; 1999:5.20-5.24.
30. Abdel-Fattah YR, Soliman NA, Yousef SM, El-Helow ER. Application of experimental designs to optimize medium composition for production of thermostable lipase/esterase by Geobacillus thermodenitrificans AZ1. J Genet Eng Biotechnol. 2012;10(2):193-200.
31. Awad GEA, Mostafa H, Danial EN, Abdelwahed NAM, Awad HM. Enhanced production of thermostable lipase from Bacillus cereus ASSCRC-P1 in waste frying oil based medium using statistical experimental design. J Appl Pharm Sci. 2015;5(9):7-15.
32. Bailey SP. Big data, small data, mined data, designed data. Artikkeli esitetty: 19th ASQ Lean and Six Sigma Conference; March 5–6, 2019; Phoenix, AZ.
33. Box GEP, Draper NR. Response Surfaces, Mixtures and Ridge Analysis. 2nd ed. John Wiley and Sons; 2007a.
34. Box GEP, Meyer RD. Some new ideas in the analysis of screening designs. J Res Natl Bur Stand. 1985;90(6):495-500.
35. Bullington RG, Lovin S, Miller DM, Woodall WH. Improvement of an industrial thermostat using designed experiments. J. Qual Technol. 1993;25(4):262 270.
36. Chen H, Lei Z, Hong H, Zhai Y, Huang D. Screening freeze-drying cryporotectants for Saccharomyces Boulardii by Packett–Burman design. Ann Univ Dunarea de Jos of Galati Fascicle VI – Food Technol. 2016;40(2):83-97.
37. Cheng SW, Wang YF, Hong B. Statistical optimization of medium compositions for chitosanase production by a newly isolated Streptomyces albus. Brazil J Chem Eng. 2012;29(4):691-698.
38. Cui F, Zhao L. Optimization of xylanase production from Penicillium sp.WX-Z1 by a two-step statistical strategy: Plackett–Burman and Box–Behnken experimental design. Int J Mol Sci. 2012;13:10630-10646. doi:10.3390/ijms130810630
39. Diamond WJ. Practical Experiment Designs for Engineers and Scientists. Lifetime Learning Publications; 1981a.
40. Dilipkumar M, Rajasimman M, Rajamohan N. Optimization of Inulinase production from garlic by Streptomyces sp. in solid state fermentation using statistical designs. Biotechnol Res Int. 2011;2011:708043, 7 pages. doi:10.4061/2011/708043
41. Durthi CP, Pola M, Kola AK, Rajulapati SB. Screening, optimization of culture conditions and scale-up for production of the L-Glutaminase by novel isolated Bacillus sps. Mutant endophyte using response surface methodology. Biocatal Agric Biotechnol. 2019;18:101077.
42. Ekpenyong MG, Antai SP, Asitok AD, Ekpo BO. Plackett-Burman design and response surface optimization of medium trace nutrients for glycolipopeptide biosurfactant production. Iran Biomed J. 2017;21(4):249-260. doi:10.18869/acadpub.ibj.21.4.249
43. El-Naggar NE, El-Shweihy NM, El-Ewasy SM. Identification and statistical optimization of fermentation conditions for a newly isolatedextracellular cholesterol oxidase producing Streptomyces Cavourensis strain NEAE-42. BMC Microbiol. 2016;16:217. doi:10.1186/s12866016-0830-4
44. El-Naggar NE, El-Bindary AA, Nour NS. Statistical optimization of process variables for antimicrobial metabolites production by Strepoymces anulatus NEAE-94 against some multidrug-resissant strains. Int J Pharmacol. 2013;9(6):322-334.
45. El-Naggar NE, Moawad H, El-Shweihy NM, El-Ewasy SM, Elsehemy IA, Abdelwahed NAM. Process development for scale-up production of a therapeutic L asparaginase by Streptomyces brollosae NEAE-115 from shake flasks to bioreactor. Sci Rep. 2019;9:13571.
46. El-Naggar NE, Soliman HM, El-Shweihy NM. Extracellular cholesterol oxidase production by Streptomyces aegyptia, in vitro anticancer activities against rhabdomyosarcoma, breast cancer cell-lines and in vivo apoptosis. Sci Rep. 2018;8:2706.
47. Fidaleo M, Lavecchia R, Petrucci E, Zuorro A. Application of a novel definitive screening design to decolorization of an azo dye on boron-doped diamond electrodes. Int J Environ Sci Technol. 2016a;13:835-842.
48. Goh TN, Roy SK. Application of Taguchi’s orthogonal array in a material screening experiment. Qual Assur. 1989a;15(1):10-13.
49. El-Gendi H, Azab MS, Soliman NA, Abdel-Fattah YR. Application of Plackett-Burman design for optimization of alkaline protease and α-amylase production by the marine bacterium Bacillus methylotrophicus SCJ4. Res J Pharm Biol Chem Sci. 2016;7:899-909.
50. Hendrix CD. Through the response surface with test tube and pipe wrench. Chemtech. 1980a;1980:488-497.
51. Holland C. Breakthrough Business Results with MVT. John Wiley and Sons; 2005a.
52. Hwang R, Gemoules MK, Ramlose DS, Thomasson CE. A systematic formulation optimization process for a generic pharmaceutical tablet.Pharm Technol. 1998;1988:48-64.
53. Jain SJ, Singh PP, Javeer S, Amin PD. Use of Placket–Burman statistical design to study effect of formulation variables on the release of drug from hot melt sustained release extrudates. AAPS PharmSciTech. 2010;11(2):936-944.
54. Jones B, Allen S. “A Green Process Grows more Efficient” (Discusses and Application of Definitive Screening Designs), SAS JMP Customer Brief. SAS Corp; 2012.
55. Mason RL, Gunst RF, Hess JL. Statistical Design and Analysis of Experiments. 2nd ed. John Wiley and Sons; 2003a.
56. Miller A, Sitter RR. Using the folded-over 12-run Plackett-Burman design to consider interactions. Dent Tech. 2001;43(1):44-55.
57. Quinlan J. Product Development by Application of Taguchi Methods. Taguchi Application Award. American Supplier Institute; 1985.
58. Rajendiran R, Gayathri Devi S, Suresh Kumar BT, Arul Priya V. Screening of process variables for the production of extracellular lipase from palm oil by Trichoderma Viride using Plackett-Burman design. World Acad Sci Eng Technol. 2011;51:742-745.
59. Raman NM, Shah PH, Mohan M, Ramasamy S. Improved production of melanin from Aspergillus fumigatus AFGRD105 by optimization of media factors. ABM Expr. 2015;5:72.
60. Rosmine E, Sainjan NC, Silvester R, Alikkunju A, Varghese SA. Statistical optimisation of xylanase production by estuarine Streptomycessp. and its application in clarification of fruit juice. J Genet Eng Biotechnol. 2017;15:393-401.
61. Sahu AK, Jain V. Screening of process variables using Plackett–Burman design in the fabrication of gedunin-loaded liposomes. Artif Cells Nanomed Biotechnol. 2017;45(5):1011-1022. doi:10.1080/21691401.2016.1200057
62. Salihu A, Bala M, Bala SM. Application of Plackett-Burman experimental design for Lipase production by aspergillus Niger using Shea butter cake. ISRN Biotechnol. 2013;2013:718352. doi:10.5402/2013/718352
63. Shu I, Hui Y, Chen S, Wan H, Chen H. Application of Plackett-Burman design in screening freeze drying cryoprotectants for Lactobacillus bulgaricus. Ann Univ Dunarea de Jos of Galat¸i Fascicle VI Food Technol̆ . 2015;39(1):70-80.
64. Thangavelu V. Application of statistical design for the production of cellulase by Trichoderma reesei using mango peel. Enzyme Res. 2012;2012:157643. doi:10.1155/2012/157643
65. Wheeler DJ. Understanding Industrial Experimentation. SPC Press; 1988.
66. Zghala RZ, Kharrat M, Rebai A, et al. Optimization of bio-insecticide production by Tunisian Bacillus thuringiensis israelensis and its application in the field. Biol Control. 2018;124:46-52.
67. Zhao A, Chen F, Ning C, et al. Use of real-time cellular analysis and Plackett-Burman design to develop the serum-free media for PC-3 prostate cancer cells. PLoS One. 2017;12(9):e0185470. doi:10.1371/journal.pone.0185470
68. Abdel-Fattah YR, Enshasy HEL, Anwar M, Omar H, Abolmagd E, Zahr RA. Application of factorial experimental designs for optimization of cyclosporin a production by tolypocladium inflatum in submerged culture. J Microbiol Biotechnol. 2007; 17(12):1930-1936.
69. Snee RD. Thou shall confirm: confirmation and validation using independent data are a characteristic of good science and good analytical studies. Qual Progr. 2021;2021:54-57.
70. Jensen WA. Confirmation runs in design of experiments. J Qual Technol. 2017;49:162-177.
71. NIST. Statistical Engineering Handbook. National Institutes of Technology; 2020.
72. Snee. Validation of regression models – methods and examples. Dent Tech. 1977;19:415-428.
73. Snee RD, Hoerl RW. Strategies for Formulations Development: A Step-by-Step Guide Using JMP. SAS Press; 2016.
74. Youden WJ. How to evaluate accuracy. Mater Res Standard. 1961;1:268-271.

LIITE A

TAULUKKO A1 Markkinointimainonnan tutkimus: Plackett–Burman-suunnitelma ja vastedata.

Rivi	A	B	C	D	E	F	G	H	I	J	K
1               1		1	−1	−1	1	1	1	1	−1	1	−1
2             −1		1	1	−1	−1	1	1	1	1	−1	1
3               1		−1	1	1	−1	−1	1	1	1	1	−1
4               1		1	−1	1	1	−1	−1	1	1	1	1
5             −1		1	1	−1	1	1	−1	−1	1	1	1
6             −1		−1	1	1	−1	1	1	−1	−1	1	1
7             −1		−1	−1	1	1	−1	1	1	−1	−1	1
8             −1		−1	−1	−1	1	1	−1	1	1	−1	−1
9               1		−1	−1	−1	−1	1	1	−1	1	1	−1
10          −1		1	−1	−1	−1	−1	1	1	−1	1	1
11            1		−1	1	−1	−1	−1	−1	1	1	−1	1
12          −1		1	−1	1	−1	−1	−1	−1	1	1	−1
13            1		−1	1	−1	1	−1	−1	−1	−1	1	1
14            1		1	−1	1	−1	1	−1	−1	−1	−1	1
15            1		1	1	−1	1	−1	1	−1	−1	−1	−1
16            1		1	1	1	−1	1	−1	1	−1	−1	−1
17           −1		1	1	1	1	−1	1	−1	1	−1	−1
18           −1		−1	1	1	1	1	−1	1	−1	1	−1
19            1		−1	−1	1	1	1	1	−1	1	−1	1
20           −1		−1	−1	−1	−1	−1	−1	−1	−1	−1	−1

TAULUKKO A1 (Jatkoa)

Rivi	L	M		N		O		P		Q		R		S		Tilaukset		Osuma%
1                1			−1		−1		−1		−1		1		1		−1		52		1,04
2             −1			1		−1		−1		−1		−1		1		1		38		0,76
3                1			−1		1		−1		−1		−1		−1		1		42		0,84
4             −1			1		−1		1		−1		−1		−1		−1		134		2,68
5                1			−1		1		−1		1		−1		−1		−1		104		2,08
6                1			1		−1		1		−1		1		−1		−1		60		1,20
7                1			1		1		−1		1		−1		1		−1		61		1,22
8                1			1		1		1		−1		1		−1		1		68		1,36
9             −1			1		1		1		1		−1		1		−1		57		1,14
10           −1			−1		1		1		1		1		−1		1		30		0,60
11             1			−1		−1		1		1		1		1		−1		108		2,16
12             1			1		−1		−1		1		1		1		1		39		0,78
13           −1			1		1		−1		−1		1		1		1		40		0,80
14             1			−1		1		1		−1		−1		1		1		49		0,98
15             1			1		−1		1		1		−1		−1		1		37		0,74
16           −1			1		1		−1		1		1		−1		−1		99		1,98
17           −1			−1		1		1		−1		1		1		−1		86		1,72
18           −1			−1		−1		1		1		−1		1		1		43		0,86
19           −1			−1		−1		−1		1		1		−1		1		47		0,94
20           −1			−1		−1		−1		−1		−1		−1		−1		104		2,08

LIITE B

TAULUKKO B1 Seulontatutkimusten ominaisuuksia kirjallisuudessa.

	Study		Reference		Response	Design		N		No Xs		Big Effects
	1		Abdel-Fattah et al.68		Cyclosporin A production	PB		12		11		2
	2		Abdel-Fattah et al.30		Lipase/esterase production	PB		12		10		6
	3		Awad et al.31		Thermo-stable lipase activity	FF		16		15		6
	4		Bailey32		% Sales increase	PB 24 Foldover		48		20		4
	5		Bell et al.26		Advertising response rate	PB		20		19		5
	6		Box and Draper,33 p. 174		Response (Y)	PB		28		23		7
	7		Box and Meyers34		Weld strength	FF		16		9		2
	8		Bullington et al.35		Assembly defect rate	PB		12		11		2
	9		Chen et al.36		Cell survival rate	PB		12		11		2
10		Cheng et al.37		Chitosanase production			PB		20		13		5
11		Cui and Zhao38		Xylanase production			PB 20 Foldover		40		19		5
12		Diamond,39 p. 132		Tear Strength			FF		64		12		6
13		Dilipkumar et al.40		Inulinase activity			PB		20		18		6
14		Durthi et al.41		l-Glutaminase production			PB		12		11		4
15		Ekpenyong et al.42		Biosurfactant production			PB		20		12		5
16		El-Naggar43		Cholesterol oxidase activity			PB		20		15		5
17		El-Naggar et al.44		Antimicrobial metabolites production			PB		20		15		5
18		El-Naggar et al.45		Therapeutic alpha-asparagusic			PB		20		15		10
19		El-Naggar et al.46		Cholesterol oxidase fermentation			PB		20		15		7
20		Fidaleo et al.47		Color removal %			DSD		21		9		4
21		Goh and Roy48		Glass material screening			FF		16		10		5
22		Hamada El-Gendi49		Alkaline protease production			FF		19		15		7
23		Hendrix50		Cold crack resistance			FF		16		15		2
24		Holland51		Retail sales			PB		24		23		5
25		Hwang et al.52		Tablet process performance			FF		16		9		5
26		Jain et al.53		Time to 90% release			PB		12		11		3
27		Jones and Allen54		Co2 removal %			DSD		21		10		6
28		Mason et al.,55 p. 302		Response			FF		18		9		5
29		Mason et al.,55 table 8.16		Solder coverage %			FF		16		10		5
30		Miller and Sitter56		Contaminant data			PB 12 Foldover		24		9		2
31		Montgomery23 table 8.13		Nondefective castings			FF		16		10		4
32		Montgomery,23 table 8.14		Auto grill defects			FF		16		9		2
33		Montgomery,23 table 8.13		Nondefective castings			FF		16		10		2
34		Quinlian57		Product shrinkage			FF		16		15		4
35		Rajendiran et al.58		Lipase production from palm oil			PB		12		11		6
36		Raman et al.59		Melanin optimization			PB		12		11		5
37		Rosmine et al.60		Xylanase production			PB		20		12		4
38		Sahu and Jain61		Gedumin-loaded liposomes fabrication			PB		12		11		5
39		Salihu et al.62		Lipase production from butter cake			PB		12		11		5
40		Shu et al.63		Viable cells %			PB		12		10		4
41		Taguchi20 table 17.14		PVC insulation development			FF (L27)		27		9		5
42		Taguchi,20 table 7.4		Tensile strength			FF		16		9		2
43		Taguchi,20 table 9.18		Nox reduction			FF (L27)		27		9		4
44		Thangavelu64		Cellulase activity			PB		20		9		4
45		Wheeler65 Ex 7.4		Carbon foam voids			FF		16		11		1
46		Zghala et al.66		Bio-insecticide production			PB		12		11		4
47		Zhao et al.67		Cell growth			PB		20		19		5