Reikalavimai bet kuriems pramoniniams prognozuotojams: galiojimas ir patikimumas

Du svarbiausi bet kokio prognozavimo reikalavimai yra galiojimas ir patikimumas. Pramoninėje aplinkoje egzistuoja skirtingi galiojimo būdai arba tipai, nors labiausiai pageidautinas yra vadinamasis nuspėjamumas. Taip pat yra įvairių patikimumo priemonių. Problema, susijusi su patikimumu ir galiojimu, neapsiriboja tik prognozėmis, bet taikoma ir kriterijams.

Galiojimas:

Prognozatoriaus galiojimas paprastai gali būti apibrėžiamas kaip mastas, iki kurio prognozuotojas pasiekia tam tikrus naudotojo tikslus, matuodamas, kas turėtų būti matuojamas. Taigi konkreti galiojimo rūšis priklauso nuo konkretaus vartotojo tikslo bet kokioje situacijoje.

Nuspėjamasis galiojimas:

Naudotojo tikslas - panaudoti savo matavimo priemonę, kad būtų galima prognozuoti būsimą darbuotojų darbą kitame kintamajame (kriterijus). Prognozinis galiojimas nustatomas statistiškai per koreliaciją ir regresiją. Svarbus nuspėjamojo galiojimo skirtumas yra vienas iš laikų. Prognozavimo balai gaunami atskiriems asmenims vienu metu (pvz., Nuomos laiku) ir kriterijų balai gaunami vėliau (pvz., Šešių mėnesių pabaigoje).

Taigi gautas ryšys iš tikrųjų reiškia „nuspėjamą“ instrumento galią. Prognozinis galiojimas yra svarbiausias atrankos galiojimo tipas, nes jis yra vienintelis tipas, kuris iš tikrųjų dubliuoja atrankos situaciją. Kitas pavadinimas, kuris kartais naudojamas prognozavimui, yra tolesnis galiojimas.

Vienalaikis galiojimas:

Tikslas, bent jau teoriškai, turėtų būti įvertinti dabartinį darbuotojų našumą tam tikru kriterijų matu nuo prognozuojamo balo. Lygiagretus galiojimas taip pat nustatomas naudojant koreliacijos ir regresijos metodus, tačiau tarp laiko prognozės ir kriterijaus rezultatų gavimo nėra. Dabartinių darbuotojų pavyzdys naudojamas siekiant nustatyti prognozės kriterijų santykį, o tada gauta regresija gali būti taikoma gaunant prognozuojamus balus likusiems darbo turėtojams.

Kitaip tariant, esame suinteresuoti prognozuoti dabartinę žmonių padėtį, o ne jų būseną. Labai svarbu pabrėžti, kad aukštas vienalaikis galiojimas neužtikrina aukšto nuspėjamumo. Deja, lygiagrečiai galiojimas pramonėje dažnai naudojamas kaip nuspėjamojo galiojimo pakaitalas.

Vadovybė kartais nenori laukti prognozuojamo metodo reikalaujamo laiko ir gali nesuvokti, kad dabartiniai darbuotojai gali atstovauti iš esmės skirtingam darbuotojų skaičiui iš darbo pareiškėjų. Darbuotojai, kurie šiuo metu dirba, išgyveno atranką ir samdos, ir tęstinumo, o neturtingesni darbuotojai, kurie buvo samdyti, galėjo palikti savanoriškai arba pagal pageidavimą. Dėl šios priežasties labai sunku pateisinti bendrų galiojimų apibendrinimą nuspėjamos situacijos sąlygomis.

Turinio galiojimas:

Kai tikrintojas daro prielaidą, kad jo prognozuotojas yra tam tikros situacijos klasės, jis dalyvauja turinio galiojime. Jis turi konkrečią sąvoką apie tai, kokios rūšies žinios, įgūdžiai, požiūris ar veikimas turėtų būti naudojami matavimo priemonei, ir mano, kad priemonė yra tinkama tiek, kiek jos turinys reprezentuoja tai, ko nori. Turinio galiojimas paprastai nėra matuojamas jokiu statistiniu ar kiekybiniu požiūriu.

Didžiausią turinio pagrįstumą galima rasti pasiekimų testų naudotojų, tokių kaip baigiamieji egzaminai kolegijos kursuose. Baigiamasis egzaminas gali būti laikomas turinio galiojimu tik tuo atveju, jei jis tinkamai atstovauja (atrinkta) pagal dalykus, kurso turinį. Jei jis neatspindėjo kurso medžiagos aprėpties, tai tikrai negalėjo būti laikomas tinkamu bandymu galutiniam egzaminui, ty jis neturėtų turinio galiojimo.

Konstrukcijos galiojimas:

Šio tipo galiojimo atveju vartotojas nori nustatyti, kokiu mastu vertinami asmenys turi tam tikrą bruožą arba kokybę (konstrukciją), kurie, kaip manoma, atsispindi testo veikloje. Bendroji procedūra apima kelių bandomųjų priemonių, kurios logiškai atrodo, kad matuoja tą patį konstruktą, administravimą ir stebėjimą tarp šių priemonių. Pramoninio psichologo konstrukcijos galiojimas nebuvo pakankamai naudojamas; ji dažniau naudojama teorinėse, o ne pragmatiškose situacijose.

Sintetinis galiojimas:

Galima laikyti, kad sintetinis galiojimas yra „prielaida“. Tarkime, kad mes turime testą, kad daugeliu atvejų parodė didelį nuspėjamąjį ryšį su įvairiais pramoninių meistrų veiklos kriterijais. Tarkime, kad nedidelis gamybos įrenginys nori naudoti testą atrenkant meistrus, tačiau per mažai darbininkų dirba įmonėje, kad atliktų netgi lygiagretų galiojimo tyrimą. Šis augalas gali nuspręsti naudoti testą be oficialaus statistinio įvertinimo, darant prielaidą, kad jis buvo sėkmingas kitose, didesnėse įmonėse.

Ši procedūra gali būti laikoma galiojančia tik tuo atveju, jei:

(1) Direktoriaus darbas šioje gamykloje yra panašus į darbų atlikėjus, dalyvaujančius atliekant testo statistinį įvertinimą, ir

(2) Darbuotojų pareiškėjai šioje gamykloje yra tipiški (kilę iš tos pačios populiacijos), kaip ir pareiškėjai, norintys įsidarbinti didesnėse gamyklose. Sintetinis galiojimas turėtų būti pakeistas tik nuspėjamuoju galiojimu, visiškai suvokiant jo galimus apribojimus.

Veido galiojimas:

Kitas galiojimo būdas, dažnai naudojamas apibūdinti testą, apima tai, kokiu mastu vartotojas yra suinteresuotas, kad jo testas „atrodytų teisingas“ bandymo gavėjui. Darbo prašytojai dažnai nusiminusi, jei numatomos priemonės, kurių jie turi imtis, atrodo, neturi jokio ryšio su darbu, kuriam jie taikomi. Pavyzdžiui, jei žmogus pasirenkamas mašinisto padėčiai, o aritmetinio gebėjimo bandymas yra naudojamas kaip prognozuotojas, bandomieji elementai turėtų būti susiję su skaičiais, taikomais mechaninėms problemoms, o ne su bendresniais žodžiais, pvz., Obuolių pirkimu arba apelsinai.

Jei pareiškėjas nesupranta prognozuotojo svarbos darbui, kuriam jis kreipiasi, kaip dažnai pasitaiko asmenybės testuose, jis gali patirti rimtą motyvacijos praradimą bandymo situacijoje, tapti nenaudingas arba, kita vertus, jaustis nesaugus. Tai ne tik kenkia atrankos programai, bet ir gali pakenkti įmonės įvaizdžiui ir sugadinti testų vaizdą bet kurioje pramonės aplinkoje. Autoriai kelia pavojų spėjimui, kad dalis blogo viešumo, kurį vartotojai gauna atrankos prietaisų pramonėje, gali būti dėl to, kad vartotojas nepastebi, jog jo testai turi būti tinkami.

Amžiaus trukmė ir darbo patirtis bei jų poveikis galiojimui:

Darbuotojų veiklos analizė bet kokiame konkrečiame darbe dažnai rodo aiškų ryšį tarp tokių kintamųjų kaip amžius ir patirtis bei kriterijus. Kuo sudėtingesnis darbas, tuo daugiau tokių ryšių yra. Daugeliui darbo vietų reikia daug patirties, kad darbuotojai įgytų savo darbą. Ryšys tarp šių kintamųjų ir darbo sėkmės kriterijų yra rimta atrankos problema. Būtina imtis atsargumo priemonių, ypač tuo atveju, jei naudojant lygiagrečią galiojimo procedūrą naudojama priemonė, leidžianti nustatyti bet kurio prognozavimo įtaiso naudingumą.

Pavyzdžiui, jei egzistuoja aukštas koreliacijos tarp darbo kriterijaus ir laiko, kaip turėtų būti aiškinamas aukštas lygiagretus galiojimo koeficientas? Ar tai reiškia, kad prognozuojantis asmuo iš tikrųjų atspindi darbuotojų skirtumus, vertinamus pagal „“ kriterijų, ar yra darbuotojų skirtumai, daugiausia dėl darbo patirties? Jei tai yra pastarasis, tada visi prognozuojantys veiksmai bus skirti diferencijuoti tuos darbuotojus, kurie turi ilgą valdžią, nuo tų, kurie neseniai samdyti.

Stebėtas galiojimas paprastai yra per daug vertinamas atrankos priemonės prognozavimo efektyvumas. Tiesą sakant, nebent galima aiškiai parodyti, kad prognozuotojas nesusijęs su tokiais bruožais kaip amžius ir pareigos, kurios gali būti darbo našumo nustatymo priemonės, visi tuo pačiu metu gauti vertinimai turi būti įtariami.

Norint iliustruoti šį aspektą, apsvarstykite situaciją, kai turi kriterijų, prognozę ir su kintamuoju susijusį kintamąjį, pvz., Darbo vietą, kuri daugiausia priklauso nuo darbuotojų skirtingų įgūdžių skirtumų:

C + D = Stebėtas prognozuojamo vaisto derinys

D = nenumatyto kriterijaus dispersijos, apskaičiuotos pagal prognozę, suma

C = „Nuosavybės nustatyto“ kriterijaus varianto, apskaičiuoto pagal prognozę, kiekis

Stebėtas galiojimas paprastai, bet ne visada yra tikrojo galiojimo pervertinimas, nes:

Tikroji arba nešališka tuo pačiu metu galiojantis galiojimas, kuris atspindi prognozės ir kriterijaus, visiškai nesusijusio su darbo bausmės poveikiu, koreliaciją, yra lygtis -

Koreliacija (r _true ), kaip parodyta diagramoje, faktiškai iliustruoja, kas statistikoje yra žinoma kaip „dalinis“ koreliacijos koeficientas. Ji praneša apie prognozės ir kriterijaus koreliaciją po to, kai darbo perspektyvos poveikis buvo pašalintas tiek iš prognozuojamų balų, tiek esamų darbuotojų kriterijų balų. Svarbu, kad savarankiškumo poveikis būtų pašalintas iš abiejų kriterijų ir prognozuojamų, tuo pačiu metu.

Jei šie kriterijai statistiškai nepašalinami iš kriterijaus, mes galiausiai prognozuosime, kokią įtaką gali turėti valdžia, o ne darbo našumas, ir tikėtina, kad tai nėra reikšminga nuspėjamumui. Jei darbo prognozės poveikis nepašalinamas iš prognozuotojo, mes taip pat galime gauti galiojimo koeficientą, kuris negali būti laikomas tinkamu bet kokiai tikrai nuspėjamai situacijai.

Žinoma, kriterijaus ir prognozuojančių koreliacinių kintamųjų problemos lygiagrečiame nustatyme iliustruoja kai kuriuos rimtus apribojimus, susijusius su šiuo patvirtinimo metodu. Galima teigti, kad kuriant ir naudojant atrankos priemonę nėra jokio vienodo galiojimo tipo, vadinamo nuspėjamuoju galiojimu, pakaitalo.

Patikimumas:

Apskritai, galiojimo koncepcija apima tai, kas matuojama matavimo prietaisu. Antra ir galbūt vienodai svarbi nuspėjamųjų savybių ypatybė yra būtinybė žinoti priemonės nuoseklumą, nepriklausomai nuo to, kas yra matuojama. Kitaip tariant, turime nustatyti bet kurio matavimo prietaiso stabilumo laipsnį; matavimas, gautas iš prognozės, turi būti nuoseklus. Kiek matavimo prietaisas yra nuoseklus arba stabilus ir kad prireikus vėl ir vėl gautų tuos pačius balus, apibrėžiamas kaip tos bandymo priemonės patikimumas.

Kaip ir galiojimas, patikimumas paprastai matuojamas koreliacijos koeficientu. Kadangi patikimas matavimas reiškia stabilumą iš vienos padėties į kitą, patikima priemonė turėtų sukurti tuos pačius balus arba bent panašius asmenų reitingus dviem atvejais. Apskaičiuojant koreliaciją, mes gauname matematinę išraišką, kiek tai vyksta.

Taigi patikimas matavimo prietaisas yra tas, kuriuo asmenys pakartotiniuose matavimuose gauna tą patį rezultatą (arba beveik tą patį). Kai koreliacijos koeficientas naudojamas tam, kad būtų galima įvertinti žmonių grupės balų panašumą dviem tos pačios priemonės taikymais, tai vadinama patikimumo koeficientu.

Faktinis procesas, kuriuo galima įvertinti priemonės patikimumą, priklauso nuo daugelio veiksnių. Yra trys pagrindiniai patikimumo „tipai“, kurių kiekvienas turi savo privalumus ir trūkumus. Jų pagrindinė logika yra pakankamai skirtinga, kad būtų galima išsamiai išnagrinėti kiekvieną.

Trys prietaisų patikimumo gavimo būdai yra šie:

(1) Pakartotinės priemonės tiems patiems asmenims, turintiems tą patį bandymą ar priemonę, \ t

(2) matavimas tiems patiems žmonėms, turintys dvi „lygiavertes“ matavimo priemonės formas;

(3) matavimo prietaiso atskyrimas į dvi ar daugiau lygiaverčių dalių ir tarpusavyje susieti šiuos „dalies“ balus.

Prieš svarstydami kiekvieną metodą, turėtume tiksliau išnagrinėti tam tikrus patikimumo ar matavimų stabilumo tipus, kuriuos galėtume domėtis skirtingomis aplinkybėmis.

Darome prielaidą, kad bet kuriuo metu, kai gauname matavimo priemonę, gauname asmens rezultatą, gautas rezultatas yra kelių veiksnių funkcija:

X _i = X _tiesa + X _klaida

Kur

X _i = Stebėtas žmogaus i rezultatas

X _true = Tikrasis rezultatas asmeniui i bandymo metu - tai tikrasis kokybės dydis, išmatuotas pagal testą, kurį aš tikrai turiu.

X _klaida = klaidos balas asmeniui i bandymo metu - tai yra suma, kurią žmogus yra įvertinęs, paveikdamas įvairių šansų ar laiko veiksnių.

Jei visi matavimo prietaisai ir matavimo metodai būtų „be klaidų“, tada mes visada gautume tikrus žmonių balus, o koreliacija tarp dviejų matavimų toje pačioje žmonių grupėje visada būtų + 1, 00 arba puikus patikimumas (darant prielaidą, kad nesikeis tikėtini balai). Deja, toks klaidingas matavimas niekada nėra visiškai prieinamas, nes daugybė dalykų? Prisidėti prie rezultatų bet kuriuo konkrečiu momentu.

Taigi, x _i gali būti arba didesnis nei mažesnis nei X, bet kokiam konkrečiam matavimui, ir koreliacijos, apskaičiuotos tarp matavimų, visada yra mažesnės nei vienybė. Kalbant apie mūsų vaizdinį atstovavimo rezultatų skirtumą tarp žmonių bet kuriame matavimo įrenginyje, nesvarbu, ar tai yra bandymas ar pokalbis, prognozuotojas ar kriterijus, šis bendras dispersija gali būti padalinta į du pagrindinius tikrosios dispersijos ir klaidų dispersijos komponentus.

Kai bendra dispersija = bendras stebimų bandymų rezultatų kintamumas

Tikroji dispersija = žmonių kintamumas pagal tikrąjį matuojamo charakterio kiekį

Klaidos dispersija = žmonių klaidų balų kintamumas

Patikimumas gali būti apibrėžiamas kaip tikrosios dispersijos ir bendrosios dispersijos santykis, arba

Kuo didesnė tikrosios taškų dispersijos dalis, arba, atvirkščiai, tuo mažesnis matavimo procese esantis klaidų dispersijos dydis, tuo didesnis matavimo patikimumas. Kritinis veiksnys, išskiriantis tris pagrindines patikimumo nustatymo procedūras, yra procesas, kuriame sprendžiama, kas turi būti laikoma klaidų dispersija, ir kas turi būti laikoma teisinga ar sisteminga dispersija. Nėra vieno patikimumo jokiam bandymui. Veikiau patikimumas priklausys nuo momento poreikių.

Pavyzdžiui, psichologas gali paklausti bet kurio iš šių klausimų apie matavimo procesą:

1. Kaip tiksliai matuoti žmones su šiuo testu bet kuriuo momentu?

2. Kaip tiksliai bus imtasi priemonių, kurių buvo imtasi su šiuo bandymu?

3. Kaip tiksliai šio testo balai parodys tikrąjį šių žmonių gebėjimą ištirti testą?

Visi trys yra teisėti patikimumo klausimai. Vis dėlto kiekvienas bandymų rezultatuose šiek tiek skiriasi įvairiais klaidų šaltinių šaltiniais.

Šiuos klaidų šaltinių šaltinius išreiškė Thorndike ir Hagen (1963):

1. Įvairovė dėl bandymo tam tikru momentu

2. Asmens kitimas nuo laiko iki laiko

3. Kintamumas, atsirandantis dėl konkrečios atrinktų užduočių, atspindinčių matuojamą kokybę

Dabar pereikime prie kiekvieno patikimumo metodo, atsižvelgiant į klaidų šaltinius, kad galėtume nustatyti, kaip kiekvienas metodas traktuoja kiekvieną šaltinį.

Bandymo bandymo metodas:

Vienas akivaizdus stabilumo vertinimo metodas yra to paties asmens veikimo matavimas du kartus naudojant tą pačią matavimo priemonę. Šis patikimumo tipas apima 1 ir 2 variacijos šaltinius kaip klaidą. Taigi patikimumas yra tas, kuris matuoja tikrojo rezultato stabilumą laikui bėgant. Yra daug problemų, susijusių su bandymo pakartotinio bandymo metodu, kuris sukuriamas turint tuos pačius bandymus du kartus.

Pavyzdžiui, jei laikotarpis yra gana ilgas tarp administracijų, atminties faktoriaus kintamasis greičiausiai bus nukreiptas į žmonių atsakymus į antrąjį administravimą. Kitas sunkumas yra tai, kad dėl pasirinktų užduočių ar pasirinktų elementų skirtumų laikoma sisteminga dispersija, kuri padidina patikimumą.

Taigi bet kuris asmuo, atsitiktinai atsitęsdamas, daugiau atsakymų paprasčiausiai dėl to, kad keletas testo elementų, paliestų, pvz., Dėl šio asmens hobio, taip pat būtų palankesnis antrajam administravimui, nes tie patys elementai, o ne naujas pavyzdys, yra naudojamas. Todėl jis turėtų gauti aukštą įvertinimą abiejų bandymų metu dėl 3 šaltinio, kuris traktuojamas kaip tikra dispersija.

Lygiagretūs bandymų metodas:

Vienas iš būdų išvengti 3 klaidos šaltinio kaip tikroji dispersija yra naudoti du visiškai palyginamus arba „lygiaverčius“ matavimo priemonės formas. Šios dvi formos turėtų būti kiek įmanoma identiškesnės, išskyrus tai, kad tam tikri elementai ar klausimai kiekvienoje formoje būtų ne tokie patys, nors jie būtų panašūs pasirinktų elementų pavyzdžiai. Viena forma gali būti įvedama iš karto po kito, arba jie gali būti skiriami tarpais, priklausomai nuo to, ar yra susijęs su kintamojo šaltinio 2 įtraukimu kaip klaidų dispersija.

Toks patikimumas, kai naudojamas atskiras bandymas, yra griežčiausias stabilumo įvertinimas, kurį galima atlikti. Tačiau dažnai neįmanoma arba geriausia sunku sukurti alternatyvias matavimo priemonės formas.

Kaip sukurti du pakaitinius, bet lygiaverčius darbo rezultatų matavimo matmenis arba dvi alternatyvias asmeninės istorijos formos formas? Daugeliu atvejų ne be didelių sunkumų. Dėl tokio palyginamo matavimo prietaiso nebuvimo psichologai ieškojo papildomų patikimumo vertinimo metodų, be bandymų pakartotinio tikrinimo ir lygiagrečios formos procedūrų.

Išskaidytas bandymo metodas:

Trečiasis pagrindinis patikimumo metodas dažnai vadinamas matavimo prietaiso vidinės konsistencijos matu. Jame nurodoma, kokiu mastu žmonės lygiai vieni su kitais vertina skirtingus bendrosios priemonės padalinius. Šis metodas tikriausiai yra plačiausiai naudojamas patikimumo matavimo metodas, nes jis reikalauja, kad būtų sukonstruota tik viena forma, tačiau nereikalaujama pakartotinio šios formos administravimo.

Jos mechanika yra labai paprasta. Pagrindine forma, vidinis nuoseklumo metodas yra lygiagrečių formų procedūra, kai lygiagrečios formos yra dvi tos pačios bandymo pusės. Šie pusė bandymai yra atrenkami taip, kad jie būtų lygiaverčiai, nors dažnai bandymas yra padalintas į dvi dalis, sudedant visus nelyginius numerius į vieną pusę ir visus vienodus numerius į kitą pusę. Tai vadinama nelyginiu dalinės pusės technikos variantu.

Svarbu nepamiršti, kad viso bandymo atskyrimas lygiavertėmis pusėmis įvyksta tik tada, kai vertinamas šis testas, o ne jį administruojant. Kadangi du subtestai yra tik pusė tol, kol originalas, kiekvienas iš jų reiškia elgesio pavyzdį, kuris yra tik pusė tokio dydžio, kaip bendras testas. Taigi koreliacija (patikimumas) tarp pusių greičiausiai bus nepakankamas balų patikimumas, pagrįstas visu testu.

Norėdami gauti išsamų testo patikimumo įvertinimą, Spearman-Brown Prophecy formulę galima taikyti taip:

r _tt = 2r _½½ / 1 + r _½½

kur r _tt = viso bandymo patikimumas (apskaičiuotas)

r _1/2 _1/2 = pastebėta koreliacija tarp dviejų bandymo pusių.

Pavyzdžiui, jei pastebėta koreliacija tarp pusių buvo 0, 40, tuomet Prophecy formulė įvertintų viso bandymo patikimumą kaip:

r _tt = 2 (0, 40) / 1 + 0. 40 = 0, 80 / 1, 40 = 0, 57

Tokiu būdu dalinio pusėjimo metodas suteikia patikimumo įvertinimo metodą vienu testu ir vienu administravimu. Tačiau yra tam tikrų jo naudojimo trūkumų. Kai atliekamas bandymas, kuris pirmiausia apima greičio koeficientus (pvz., Tam tikrus paprastus klasterinius bandymus), alternatyviosios pusės procedūra suteikia klaidingą aukštą rezultatą.

Kadangi greičio bandymai paprastai susiję su paprastais elementais, tai tik klausimas, ar jiems buvo atsakyta, ar jie yra teisingi ar neteisingi. Tokiu būdu, pvz., Bandymo suskirstymas nelyginiu pagrindu, praktiškai taptų abiejų pusių rezultatais beveik tokie patys, taigi būtų didelė teigiama koreliacija.

Kuder-Richardson metodas:

Kitas patikimos padėties matavimo metodas dažnai naudojamas. Su statistiniu metodu, vadinamu dispersijos analize, dažniausia jo forma yra Kuder-Richardson procedūra. Kuder-Richardson (KR) metodas taip pat yra vidinis nuoseklumo patikimumas, kuris iš esmės traktuoja kiekvieną bandomąjį elementą, kad vietoj dviejų pusių būtų n subtestai, kur n yra bendras matavimo priemonės elementų skaičius. KR technika yra lygiavertė visų galimų koreliacijų skaičiavimui tarp testų elementų porų (bus n [n-l] / 2 tokių porų), atsižvelgiant į jų vidurkį ir koreguojant rezultatą naudojant Spearman-Brown pranašystės formulę