Kaip „Bias“ kriterijaus užteršimo dalis prisideda prie klaidingai didelio galiojimo koeficiento?

Anksčiau terminas „kriterijus“ buvo apibrėžiamas kaip faktinio kriterijaus dalis, kuri nesutampa su galutiniu kriterijumi. Be to, buvo pažymėta, kad kriterijų užteršimas susideda iš dviejų dalių: klaidos ir šališkumo. Klaida pagal apibrėžimą; paprastai laikoma atsitiktine variacija ir negali, išskyrus atsitiktinumą, koreluoti su nieko, įskaitant prognozavimo kintamąjį. Tačiau kriterijų užteršimo šališkumo dalis yra sisteminė variacija, ir ji gali būti koreliuojama su prognozatoriumi. Tai galima matyti iš mūsų modelio, kur prognozuojama koreliacinė tarša (kuri turi būti prognozuojama koreliacinė paklaida) prisideda prie neteisingai aukšto gauto galiojimo.

Kokios šališkumo rūšys gali patekti į kriterijų užteršimą ir kokios rūšys taip pat gali būti koreliuojamos su prognozavimo kintamuoju? Galbūt Brogdenas ir Taylor (1950 m.) Oficialus kriterijų šališkumo apibrėžimas padės atsakyti į šį klausimą.

Jie apibrėžia „bet kokio kintamojo, išskyrus matavimo ir atrankos paklaidų klaidas, šališkumą, gaunant gautų kriterijų balų nukrypimą nuo hipotetinio„ tikrojo “kriterijaus balo. 6.4 punktas iliustruoja šį aspektą. Tokie šališki veiksniai yra dažnesni, nei įtariama ir turėtų būti atidžiai apsaugoti. Jie gali atsirasti dėl įvairių aplinkybių ir kaip daugelio kintamųjų funkcija.

1. Galimybių šališkumas:

Toks kriterijų šališkumas susijęs su situacijomis, kai veiksniai, kurių darbuotojas negali kontroliuoti, žymiai paveikia pagamintą sumą. Galimi šališkumo pavyzdžiai. Pardavimo darbuose tam tikra teritorija ar pardavimų skaitiklis gali paveikti darbuotojo pardavimo apimtį, galbūt dar labiau, nei jo paties gebėjimas. Dirbant gamykloje, galimybių šališkumas gali būti priskirtas tokiems paprastiems dalykams, kaip įrankių kokybė ir mašinos būklė, ar jis turi dirbti dienos pamainą ar naktinį pamainą, kur yra jo darbo vieta, kaip gerai jo apšvietimas ir įvairūs kiti kintamieji.

Trumpai tariant, išskyrus atvejus, kai darbo aplinka ir darbo vietos yra vienodos, darbo rezultatų įrašų palyginimas tarp asmenų turi savo apribojimų. Jei tokiomis aplinkybėmis darbo našumas yra koreliuojamas su prognozuojančiais prietaisais, nėra jokio būdo iš tikrųjų žinoti, ar gauta koreliacija yra koreliacija su tikra darbo našumu, ar yra pirmiausia koreliacija su, pavyzdžiui, darbo vietos kokybe. Nors galimybių šališkumas nebūtinai koreliuoja su prognozatoriumi, net jei jis nėra numatomas, jis turės įtakos gautam galiojimui.

Kiti subtilesni galimybių šališkumo pavyzdžiai dažnai randami atidžiau išnagrinėjant tokių elementų, kaip amžius ir patirtis, nuspėjamumą. Daugelyje darbo vietų vyresni ir daugiau patirties turintys žmonės gauna geresnius rezultatus tik dėl profesinių sąjungų darbo stažo, nes šie žmonės gauna geresnes darbo vietas, geresnius pardavimų skaitiklius ir tt

2. Grupės charakteristikos šališkumas:

Kitas svarbus kriterijų šališkumo šaltinis yra grupės, kuriai priklauso asmuo, charakteristikos. Pavyzdžiui, jei asmuo priklauso grupei, kuri dirbtinai riboja savo narių produktyvumą, bus aiškus kriterijaus duomenų šališkumas. Panašiai, jei asmuo priklauso grupei, kuri buvo iš anksto pasirinkta tam tikru a priori pagrindu, ir jei ši grupė yra lyginama su grupe, kuri nėra pasirinkta, bet koks atrankos kintamasis, susijęs su a priori kintamuoju, yra tinkamas rodyti klaidingą galiojimą.

Brogdenas ir Tayloras (1950 m.) - tai pavyzdys, kai vykdomoji valdžia nusprendė, kad visi biuro berniukai turi samdyti vidurinę mokyklą. Jei bandymų tvirtinimo tikslais esamų darbuotojų grupė yra lyginama su kandidatų į darbą pavyzdžiu, beveik tikėtina, kad bet koks prognozuotojas, galintis susieti su išsilavinimo dydžiu, bus pagrįstas!

Amžiaus ir darbo vietos problema yra dar vienas galimybių šališkumo pavyzdys. Kai darbas yra toks, kad produktyvumas didėja su papildoma patirtimi ir kur yra daug patirties (ty yra patyrę ir nepatyrę darbuotojai), neišvengiama, kad kriterijus (našumas) ir patirtis bus koreliuojami . Taigi kriterijus yra šališkas pagal patirties charakteristikas, ir bet koks prognozuotojas, galintis susieti su patirtimi, yra tinkamas, kad galų gale būtų neteisingai didelis.

3. Biaso vertinimas:

Vienas iš dažniau naudojamų kriterijų pramonėje - vadovų kompetencijos įvertinimas - taip pat yra šališkas. Čia reikėtų pažymėti, kad visi įprasti gamybos įrašų šališkumo šaltiniai taip pat gali pakenkti individualios kompetencijos reitingams. Ar prižiūrėtojai, vertindami savo kompetenciją, gali koreguoti nevienodas galimybes vertintiems asmenims? Jei jie gali, tuomet jų reitingai lemia mažiau nešališką kriterijų nei faktinis gamybos įrašas.

Dažniausiai minimas šališkas poveikis reitingams yra reiškinys, vadinamas „halo efektu“. Trumpai tariant, tai reiškia situaciją, kai vertintojas mano, kad asmuo yra išskirtinis dėl visų savybių, nes jis (vertinamas asmuo) turi vieną neįvykdytą charakteristika.

Pvz., Jei žmogus puikiai atliko vieną darbo atlikimo aspektą, būtų padaryta halo klaida, jei manytume, kad asmuo taip pat turi būti geras visais kitais jo darbo aspektais. Halo klaidos dažnai pasitaiko, kai vertintojas prašo įvertinti asmenis, turinčius malonių asmenybės savybių („Jei žmogus yra gražus, jis taip pat turi sugebėti“) ir malonių savybių („Jei mergina yra graži, ji taip pat turi būti talentinga“). Žinoma, testai, kurie labai koreliuoja su reitingais, turinčiais halo šališkumą, gali būti tiesiog susiję su halo kintamuoju, o ne su „tikra“ darbo kompetencija.

4. Prediktoriaus šališkumo žinios:

Kai kriterijų duomenys gaunami naudojant reitingus, rimčiausia klaida gali būti, kad vertintojas turi išankstinių žinių apie prognozavimo balus. Tai vadinama žiniomis apie prognozavimo šališkumą. Jei vertintojas žino, kiek žmonių pasiekė prognozės kintamąjį, tai visiškai įmanoma, kad jis galėtų leisti jo kriterijams priimti sprendimus. Tokia klaida gali sukelti visišką klaidingą pobūdį gautame galiojime.

Deja, ne tik ši klaida yra rimčiausia kriterijų reitinguose (nes pagal apibrėžimą tai yra šališkumas, kuris visada bus prognozuojantis), bet ir viena iš dažniausiai aptinkamų klaidų. Pavyzdžiui, yra lengviausia rasti III mokyklos parametrus, kuriuose mokytojai priima sprendimus dėl savo studentų akademinių talentų, matę jų įėjimo testų rezultatus.

Negalima pernelyg pabrėžti būtinybės visada išlaikyti nuspėjamosios informacijos atskyrimą nuo asmenų, teikiančių kriterijų duomenis. Taigi priežiūros institucijoms niekada neturėtų būti leista susipažinti su pareiškėjo bandymų akumuliatoriaus balais. Kai toks užteršimo šuolis įvyko, bet kokie vėlesni bandymai empiriškai patvirtinti bandymą gali lengvai sukelti pernelyg didelius koreliacijos koeficientus.