Vertintojų charakteristikos: reitingų patikimumas ir numatomumas

Iki šiol mes ignoravome pačius tikriausius rodiklius ir jų svarbą veiklos vertinimo procesui. Nors buvo nurodyta, kad vertintojai, priimdami sprendimus, turi daugybę „klaidų“ ir kad reitingų skalės turėtų būti suprojektuotos taip, kad minėtos klaidos būtų kuo mažesnės, atskirų ratifikatorių charakteristikos nebuvo išnagrinėtos dėl jų poveikio reitingavimo procesui.

Reitingų patikimumas ir prognozavimas:

Vertintojų charakteristikų problema pastaraisiais metais buvo daug dėmesio. Buckner (1959) ištyrė ryšį tarp to, kaip gerai sutinka ir kiek galima prognozuoti reitingus su kitu kintamuoju. Kitaip tariant, Buckner uždavė klausimą „Ar labai patikimi reitingai reiškia, kad turiu kriterijų, kuris bus lengviau numatomas?“ Atsakymas pasirodė esąs ne. Buckner suskirstė savo kursus į keturias grupes, priklausomai nuo to, kaip teisėjai susitarė priskirti savo reitingus.

1 grupė: teisėjai labai pritarė šiems rodikliams

2 grupė: teisėjai vidutiniškai sutarė dėl šių normų

3 grupė: teisėjai nedaug sutarė dėl šių normų

4 grupė: teisėjai nulėmė susitarimą dėl šių normų

Tada jis tęsė du testus, suderindamas bandymų rezultatus su reitingu - tai buvo padaryta kiekvienai grupei atskirai. Jis nerado sistemingo ryšio tarp jo gautų galiojimo dydžių kaip grupės, su kuria jis dirbo, funkciją. Windle ir Dingman (1960) kritikavo Bucknerio aiškinimą ir atliko antrą tyrimą, kuriame jie nustatė 7.4 lentelėje pateiktus rezultatus.

Atkreipkite dėmesį į 7.4 lentelėje pateiktus santykinius galiojimo koeficientų dydžius. Kuo patikimesni ratifikuotojai, tuo aukštesni galiojimai. Panašiai patikimesni reitingai, tuo didesni galiojimai.

Todėl logiškai galima tikėtis, kad rezultatai labiau panašūs į Windle ir Dingman rezultatus nei Buckner. Tačiau reikia nepamiršti, kad aukštas patikimumas yra tik būtina sąlyga aukštiems tinkamumo patvirtinimams - tai nėra pakankama sąlyga.

Wiley, atlikdama keletą tyrimų, išnagrinėjo vertintojų sprendimų nuoseklumą laikui bėgant, kiek gerai jie sutinka su ankstesniais to paties vertintojo sprendimais (Wiley 1963; Wiley ir Jenkins, 1963) ir kaip gerai jie sutinka su grupės sudėtiniu reitingas (Wiley ir Jenkins, 1964). Apskritai buvo nustatyta, kad vertintojai savo reitinguose yra nuoseklūs iki dešimties mėnesių.

Be to, jis nustatė, kad tie vertintojai, kurie labai glaudžiai susitiko su grupės sudėtiniu elementu pradiniame reitingo uždavinyje, taip pat buvo tie, kurie labiausiai sutiko su grupės kompozitu dėl kito reitingo užduoties vieną mėnesį vėliau. Jis siūlo, kad šios žinios galėtų būti naudojamos atrenkant ratus, kurie iš tikrųjų reprezentuoja vidutinės didesnės ratų grupės sutarimą.

Deja, problema, ar ratifikatoriai, kurie sutinka su grupės kompozicija, yra geriausi ratifikavimo prašytojai, nėra nustatyti. Tačiau yra logiškos pozicijos, kad jei įmanoma gauti sudėtinį reitingą naudojant nedidelį ratų skaičių, kuris prilygsta kompozitui, gautam naudojant didesnį skaičių, tikrai galima sutaupyti laiko ir pinigų.

Įrodyta, kad daugelis kitų vertintojų charakteristikų atlieka vertinimus, gautus vertinant reitingus. Christal ir Madden (1960 m.) Parodė, kad svarbus aspektas yra tas, kokiu mastu vertintojas yra susipažinęs su profesija, kurią jis vertina, o tai patvirtina papildomi Maddeno (1960 m. 1961 m.) Tyrimai. Panašiai Wiley, Harber ir Giorgia (1959a, 1959b) parodė apibendrintų vertintojų tendencijų įtaką jų poveikiui reitingams.

Įvertinimo skalės formatas ir vertinimo vertinimas:

Maddenas pranešė apie keletą tyrimų, susijusių su pačios reitingų skalės poveikiu. Viename tyrime (Maddenas, 1960 m.) Jis nustatė, kad reitingų patikimumas ir reitingų lengvumas nebuvo įtakoti pavyzdžių naudojimu apibrėžiant reitingų skalę, bet tai, ar skalė buvo apibrėžta, o ne apibrėžta. įtakos patikimumui ir naudojimo paprastumui.

Vėlesniame tyrime Maddenas ir Bourdonas (1964 m.) Išnagrinėjo septynių skirtingų reitingų formatų poveikį pagal 15 skirtingų profesijų reitingus 9 skirtingais darbo veiksniais. Rezultatai, nors ir šiek tiek sudėtingi, aiškiai parodė, kad profesijai priskirtas reitingas priklausė nuo to, koks yra darbo veiksnys, ir į tam tikrą reitingų skalės formatą.