Budućnost| Društvo| IT| Nauka| Tehnologija

Izazovi (pr)ocenjivanja

/ 31.08.2011. u 11:10

Komentari: 41
Čitanost: 18122
/
Preporuke: 5016
/

Nije lako biti dobar ocenjivač ili recenzent. To važi za mnoge oblasti, od onih koji se odnose na ocene u osnovnom, srednjem i visokom obrazovanju, pa do procenjivanja i recenzija stručnih i naučnih radova, projekata, novih ideja za investitore, procenjivanja vrednosti proizvoda, usluga, kompanija i slično. Kao recenzent (engl. reviewer) za nekoliko naučnih časopisa i konferencija, često sam se zapitao koliko moja procena nekog rada ili projekta utiče na život ili karijeru nekog, meni obično nepoznatog, autora, predlagača ili nosioca neke nove ili "nove" naučne ili poslovne ideje. Verujem da su se slično zapitali i mnogi drugi, koji su se našli u sličnoj poziciji, pa i oni koji su odlučivali o sudbini mojih radova i projekata.

Mnogi su iskusili gorak osećaj koji se neminovno pojavi kad dobijete poruku koja počinje sa: „We are sorry to inform you..." ili sa "We regret to inform you that...". Takođe, mnoge firme imaju proces godišnjeg ocenjivanja zaposlenih, koji se realizuje u različitim oblicima, a od koga zavisi povišica plate, napredovanje u službi i slično.

Uvodna napomena: Prvu verziju ovog teksta sam postavio pre nekoliko dana, ali nije prošao recenziju čitalaca i morao je na popravku. Naime, napravio sam nekoliko principijelnih grešaka u pripremanju i proučavanju materijala, pa sam ga obrisao ubrzo nakon što su mi dvoje kolega blogera ukazali na to. Ovim putem želim da im zahvalim što su mi ukazali na propuste i da uputim izvinjenje ostalim blogerima i uredništvu što je moj blog, zajedno sa njihovim komentarima iznenada „nestao". Mogu da konstatujem: čitaoci i blogeri B92 bloga su dobri i pažljivi ocenjivači i recenzenti.

Primeri iz daleke i bliže prošlosti nas uče da su mnoge dobre ideje bile neshvaćene, kao i da su mnogi njihovi nosioci bili u vrlo nezavidnom položaju. Često je trebalo da prođe dosta vremena da ostali shvate njihovu vrednost. Najčešće spominjani primer je Đordano Bruno, italijanski filozof i astronom, koji je 17. februara 1600. godine, kao jeretik, javno je na lomači spaljen zbog svoje teorije da je svemir beskonačan, jer se to nije uklapalo sa učenjem Katoličke crkve.

Ovo je drastičan primer, a u ovom tekstu ću se osvrnuti na dva teksta - linka koji cirkulišu Internetom, a na temu šta bi bilo da su ocenjivači ili recenzenti imali loš dan kada su ocenjivali neke od najbriljatnijih umova novijeg doba ili neke od (možda najbitnijih) radova u oblasti računarskih, informacionih i komunikacionih tehnologija.

Takvi primeri nas uče koliko promašaji u procenama mogu potencijalno da koštaju nosioce ideja, ali i celu ljudsku zajednicu i njen napredak.

Kao prvi, interesantan je primer ocena i primedbi koje je mogao dobiti na godišnjem ocenjivanju zaposlenih Albert Ajnštajn davne 1905. godine, kao službenik Patentnog zavoda u Bernu u Švajcarskoj, od svog šefa. Pogledajte ovde kako bi to moglo izgledati.

Nakon prethodne verzije teksta, dobio sam sugestiju od koleginice blogerke 'yugaya' da „05 Annual Performance Review: Albert Einstein" pominje skraćenice kao što su PR (Public Relations) i EAP (Employee Assistance Plan), što su skraćenice mnogo novijeg datuma nastanka. Dakle pitanje izvornosti ovog dokumenta je upitno i očito se radi o izmišljenim ocenama sa ciljem da se prikaže kako bi to moglo izgledati. Zahvaljujem na sugestiji.

U decembru 2005. godine objavljen je tekst u časopisu Computer, pod naslovom „We Are Sorry to Inform You ...", autor: Simone Santini, University of California, San Diego. Ovaj tekst govori o tome koliko štete može biti izazvano ako recenzent ima loš dan. Izmišljene recenzije u tom tekstu se odnose na neke od verovatno najbitnijih radova u oblasti ICT tehnologija, koje su radikalno izmenile teoriju i praksu. Primera radi, to su:

• E.W. Dijkstra: "Goto Statement Considered Harmful."
• E.F. Codd: "A Relational Model of Data for Large Shared Data Banks."
• A. Turing: "On Computable Numbers, with an Application to the Entscheidungs Problem."
• C.E. Shannon: "A Mathematical Theory of Communication."
• C.A.R. Hoare: "An Axiomatic Basis for Computer Programming."
• R.L. Rivest, A. Shamir, And L. Adelman: "A Method for Obtaining Digital Signatures and Public-Key Cryptosystems."

Da bi ste videli kako su recenzenti mogli oceniti (i ocrniti) ove značajne ideje i radove, pogledajte ovde. Ima zaista zanimljivih konstatacija koje nas mogu zabaviti. Originalni tekst je ovde (potrebna pretplata na IEEE Digital Library za pristup originalnom tekstu, ali dovoljno se može videti i na prethodnom linku).

U prethodnoj verziji teksta, sam propustio da potražim originalni izvor u kome, u okviru, piše: „How much damage could be caused by a peer reviewer having a bad day?" (slika na početku teksta). Na to mi je ukazao kolega bloger u svom komentaru. Zahvaljujem mu na sugestiji, podstakao me je da detaljnije pogledam i istražim izvore, nađem originalni izvor i pripremim ovu ispravku.

Verovatno se na drugim mestima mogu naći slične liste za druge oblasti. Ako imate primere, podelite ih sa nama.

Zaključak 1: kad ocenjujemo druge, treba da budemo vrlo pažljivi. Možda, nekad u budućnosti, zbog nerazumevanja ideja, možemo da se nađemo na nekoj sličnoj listi zabluda i greški. Ovo se odnosi, ne samo na naučne ideje, već i na razne druge oblasti ocenjivanja i procenjivanja drugih ljudi, ideja, projekata, proizvoda...

Zaključak 2: Kad pišemo blogove, treba prvo dobro da proverimo izvore i činjenice. :)

Atačmenti

Reviewer having a bad day.png / 24.5 / KB image/png

Tagovi

Ocene, ocenjivanje, recenzije, recenzenti, Ajnštajn, Dijsktra, Codd, Turing

postavite na |

Komentari (41)

Sakrij replike | Pošaljite komentar

Komentare je moguće postavljati samo u prvih 7 dana, nakon čega se blog automatski zaključava

Covek u belom 11:26 31.08.2011

Recenzija kreativnosti

"This is a patent office, Albert. Your job is to transform written patent applications into clear and precise language, and to study applications and pick out the new ideas of an invention. These are the priorities. Where does it say that your priorities are rewriting the rules of the Universe, unifying space and time, unifying radiation and matter, or demonstrating the existence of atoms?"

Bez obzira sto je izmisljeno, znajuci Svajcarce ovo ne moze biti blize istini. Mada ubijanje kreativnosti nije samo njima znani fenomen...

Sto se tice "recenzija" Santinijeve iako zvuce verodostojno vidi se da su malko namestene i da vise odgovaraju recenzijama iz 21. veka nego sredine 20. Mada generalne zamerke (pogotovu oko goto i RSA) i dalje stoje (kad koriscenje goto drasticno pojednostavljuje kod i faktorizacija velikih brojeva na proste).
Ono sto jeste zanimljivo primetiti da je proces recenzije postao znatno striktniji i stroziji u 21. veku nego sto je to bio u 20. veku. Naravno razlog tome je sto se obim "proizvodnje" radova povecao za nekoliko redova velicine u zadnjih 50 godina. A kvantitet ne radja bas uvek kvalitet...

abrasax 12:23 31.08.2011

Re: Recenzija kreativnosti

Sto se tice "recenzija" Santinijeve iako zvuce verodostojno vidi se da su malko namestene i da vise odgovaraju recenzijama iz 21. veka nego sredine 20. Mada generalne zamerke (pogotovu oko goto i RSA) i dalje stoje (kad koriscenje goto drasticno pojednostavljuje kod i faktorizacija velikih brojeva na proste).

Slažem se sa konstatacijom o fraktalnim brojevima.

jinks 12:29 31.08.2011

...

Prvu verziju ovog teksta sam postavio pre nekoliko dana, ali nije prošao recenziju čitalaca i morao je na popravku.

Da li bi ste, u skladu sa temom bloga, mogli da učinite javnom recenziju koja je dovela do nove revidovane verzije bloga. Značajan aspekt recenzije predstavljaju objašnjenja i predlozi koje recenzenti daju autorima, bilo da su članak odbili, prihvatili ili zahtevali dodatne izmene.

Jeste da su te recenzije najčešće tajne i vidljive samo autorima i uredniku, ali možda bi ste mogli u cilju ilustracije teme o kojoj govorite, da napravite izuzetak i da je objavite.

Dragan Pleskonjic 12:43 31.08.2011

Re: ...

jinks
Da li bi ste, u skladu sa temom bloga, mogli da učinite javnom recenziju koja je dovela do nove revidovane verzije bloga.

Recenziju čitalaca je termin koji sam upotrebio uslovno. Prvo:

dobio sam sugestiju od koleginice blogerke 'yugaya' da „05 Annual Performance Review: Albert Einstein" pominje skraćenice kao što su PR (Public Relations) i EAP (Employee Assistance Plan), što su skraćenice mnogo novijeg datuma nastanka. Dakle pitanje izvornosti ovog dokumenta je upitno i očito se radi o izmišljenim ocenama sa ciljem da se prikaže kako bi to moglo izgledati.

Drugo, kolega bloger (zaboravio sam nadimak - možda će se javiti) mi je skrenuo pažnju u komentaru da su "recenzije" sa ovog linka pisane (izmišljene) pod pretpostavkom "How much damage could be caused by a peer reviewer having a bad day?", što je vidljivo u originalnom tekstu, a ja to nisam bio proverio.

Nadam se da sam odgovorio na pitanje.

P.S. Što se tiče recenzija radova za konferencije i časopise, ne bih mogao da ih publikujem ovde.

yugaya 12:31 31.08.2011

:)

Zaključak 2: Kad pišemo blogove, treba prvo dobro da proverimo izvore i činjenice. :)

Samo bih dodala to da većina zapadnih kompanija, obrazovnih institucija i ustanova koristi samoocenjivanje kao izuzetno važan parametar.

Kada neko od vas zatraži self-assessment najvažnije je da sagledate svoje prednosti onako kako ih drugi vide. To će vam se brojati u konačnom zbiru ako ste napisali isto što i kolege i nadređeni.

Nikako, ali nikako ne smete biti ni lažno skromni niti previše detaljno upućeni u tačan broj i vrstu sopstveihe grašaka i nedostatka. Svaku manu koju napismeno potvrdite, a promakla je u prvoj proceni, ocenjivač će biti primoran da uzme u obzir pri konačnoj oceni i umanji je.

Jukie 13:17 31.08.2011

Re: :)

yugaya

većina zapadnih kompanija, obrazovnih institucija i ustanova koristi samoocenjivanje kao izuzetno važan parametar.Kada neko od vas zatraži self-assessment najvažnije je da sagledate svoje prednosti onako kako ih drugi vide. To će vam se brojati u konačnom zbiru ako ste napisali isto što i kolege i nadređeni. Nikako, ali nikako ne smete biti ni lažno skromni niti previše detaljno upućeni u tačan broj i vrstu sopstveihe grašaka i nedostatka..

I tako se ja smejem ovim Indijcima na linku koji si dala kako smešno pišu engleski, a u stvari ni ja ne bih umeo da napišem taj self-assessment bez nekog spiska stavki/teza. A i plašio bih se da pomenem svoje loše strane iz straha da će odmah da me izbace napolje sa tog posla.

mikimedic 12:41 31.08.2011

odlican blog dragane

Takođe, mnoge firme imaju proces godišnjeg ocenjivanja zaposlenih, koji se realizuje u različitim oblicima, a od koga zavisi povišica plate, napredovanje u službi i slično.

ovo je naravno tacno, i tema koja otvara jedan zacarani krug. kako izvrsiti objektivno ocenjivanje zaposlenih i ko treba da bude taj ko ce vrsiti to ocenjivanje. a kao sto si rekao, od direktnog uticaja moze da bude na polozaj, povisicu, napredovanje, pa i otkaz.

u (verovatno) svim firmama sistem je takav da nadredjeni odredjuje podredjenog. na prvi pogled, nista sporno i sasvim u redu. medjutim, ovaj pristup otvara mnoge probleme. samo neki od njih:

sta ako nadredjeni iz ovih ili onih razloga favorizira, ili obratno degradira stvarni ucinak podredjenog ? (ok, delimicno resenje za ovaj problem moze da bude 'reviewing officer');

ali sta cemo onda ako u konkurenciji dvoje 'podredjenih', onaj koji je bio favoriziran od strane svog nadredjenog dobije prednost u odnosu na drugog, koji je, pretpostavimo, objektivno ocenjen?

ili cak recimo da jedan nadredjeni ima jako visoke kriterijume, i za exceptional effort svog sluzbenika da mu ocenu 'fully effective' (na primer); dok ce drugi nadredjeni za prosecan ucinak dati takodje istu ocenu. kako cemo odabrati boljeg od njih dvojice ako obojica budu konkurisali za recimo isto mesto?

u nekim firmama postoji i ocenjivanje od strane saradnika - so called 'peer review'; ideja na prvi pogled odlicna, ali: -- zaposleni sami biraju ko ce im biti 'peer reviewer' (da li postoji neki drugi nacin?), i naravno svi ce se opredeliti za princip 'ja tebe serdarom a ti mene vojvodom'. sledeca krajnost je ocenjivanje nadredjenog od strane (konkretnog) podredjenog.

konkretan problem je kako oceniti ocenjivaca? kako utvrditi da on daje objektivne ocene?

sta ako ocenjivac daje odlicne ocene zaposlenima koji su to zasluzili, pa zbog toga dodje na metu hr staffa? sta ako u exceptional teamu rade excpetional employees, i svi dobiju exceptional grades?

mislim da na ova pitanja nema lakog odgovora, i nema savrsenog sistema. bojim se da ih nece ni biti.

nadam se da mi necete zameriti komentar koji se polako pretvara u carsav, ali bih da ilustrujem stavio ovde i je jedan autentican dopis iz human resources upucen jednom menadzeru:

Dear Colleague,

I am writing in relation to the Performance Evaluation and Appraisal System (PAES) to inform you that, based on a careful review of the 2010 completed and acknowledged reviews, you have used a high percentage of exceptional ratings between 8.1 and 10 for objectives or competencies for your staff member(s).

Therefore, I would like to highlight several general points for future reference and hope that you will find the below feedback useful.

It is expected that the rating scale is more fully used, in line with the calibration guidelines shared with all staff), and that no more than 20% of staff get exceptional overall ratings. Exceptional rating is about exceptional performance, and therefore this means that staff members greatly surpassed the accomplishments which were expected of them during the appraisal cycle, or consistently demonstrated competencies which were higher than those expected at their level. As a reference, a staff member who fully met expectations should be given a rating between 6 and 8. In cases of exceptional performance, exceptional ratings may be discussed with the staff member's Reviewing Officer in the spirit of the calibration guidelines.

In addition, there should be substantiated comments in the reviews, highlighting facts and examples to justify the assigned high ratings. Better quality reviews will render these documents more useful for performance management as well as career development, including assignments, learning and promotion. An example of a review fully substantiated can be found on the PEAS intranet.

Lastly, to assist you to calibrate ratings, reports are available for managers and Reviewing Officers. Kindly refer to the attached screenshots for information on how to run these reports.

Please contact me, if you have any questions or need advice related to performance management.

Dragan Pleskonjic 12:45 31.08.2011

Re: odlican blog dragane

Hvala.

Jukie 13:07 31.08.2011

Re: odlican blog dragane

mikimedic

It is expected that the rating scale is more fully used, in line with the calibration guidelines shared with all staff), and that no more than 20% of staff get exceptional overall ratings. Exceptional rating is about exceptional performance, and therefore this means that staff members greatly surpassed the accomplishments which were expected of them during the appraisal cycle, or consistently demonstrated competencies which were higher than those expected at their level. As a reference, a staff member who fully met expectations should be given a rating between 6 and 8.

Inače postoji sličan spisak šta đak-osnovac treba da postigne za koju ocenu, ali ga se retko ko pridržava, i onda često ima po 50 odsto petica a u nekim školama i oko 30 odsto vukovaca...

abrasax 13:42 31.08.2011

Re: odlican blog dragane

li cak recimo da jedan nadredjeni ima jako visoke kriterijume, i za exceptional effort svog sluzbenika da mu ocenu 'fully effective' (na primer); dok ce drugi nadredjeni za prosecan ucinak dati takodje istu ocenu. kako cemo odabrati boljeg od njih dvojice ako obojica budu konkurisali za recimo isto mesto?

Izvini, miki o čemu ovd pričamo? "Ne mogu da gledam na oči", što bi rekli, malo sam izgubila vezu sa pojmovima.

westvleteren 13:52 31.08.2011

Re: odlican blog dragane

i onda često ima po 50 odsto petica a u nekim školama i oko 30 odsto vukovaca

Inflacija vukovaca je odavno u punom zamahu. Vukova diploma je već izgubila svaki smisao.

yugaya 14:10 31.08.2011

Re: primer

je jedan autentican dopis iz human resources upucen jednom menadzeru:

- Ovo je primer točkića mašinerije koji su se već zavrteli, a to se desilo zbog lošeg inicijalnog izveštaja - ne lošeg u smislu da je onaj ko je ocenjivao "poklonio ocene " već da je ocenjivač napravio sledeće greške :

- nije ispoštovao opisna pravila i skalu ocenjiivanja

It is expected that the rating scale is more fully used, in line with the calibration guidelines shared with all staff

,
prema kojoj je očekivani rezulatat da najviše 20% postigne "exceptional" rezultate.

(It is expected) that no more than 20% of staff get exceptional overall ratings.

Postoje izuzetne situacije i uvažava se mogućnost da se desi da više od 20% zaposlenih ostvare izvanredne rezultate. No, u tom slučaju ocenjivač mora da ih detaljno i posebno pažljivo argumentuje i verifikuje da bi prošli na sledećoj instanci

, there should be substantiated comments in the reviews, highlighting facts and examples to justify the assigned high ratings.

Ovaj ocenjivač to nije uradio i mejl u kome ga podsećaju na osnovna pravila ilustrovan sa primerom kako to treba da izgleda bih na njegovom mestu shvatila krajnje ozbiljno u smislu toga kakve je ocene dobilo njegovo ocenjivanje drugih ( više nego loše).

Za metode ocenjivanja kojima se osigurava objektivan rezultat vidi ovde pod "PERFORMANCE EVALUATION METHODS"

Dragan Pleskonjic 14:20 31.08.2011

Re: primer

mogućnost da se desi da više od 20% zaposlenih ostvare izvanredne rezultate.

Tj. obično se podrazumeva da važi Gausova (normalna) raspodela.

E sad, da li mora biti tako u svakoj firmi i sredini, veliko je pitanje.

Jukie 14:37 31.08.2011

Re: odlican blog dragane

westvleteren
i onda često ima po 50 odsto petica a u nekim školama i oko 30 odsto vukovaca
Inflacija vukovaca je odavno u punom zamahu. Vukova diploma je već izgubila svaki smisao.

Vukovac je novi odlikaš.

Treba lepo uvesti da zaključene ocene kod svakog nastavnika treba da prate Gausovu raspodelu gde je μ=3.5, pa kome mnogo odskaču umanjiti mu platu. Sorry, u opisu radnog mesta ti je i objektivno ocenjivanje postignuća.

yugaya 14:38 31.08.2011

Re: odlican blog dragane

mikimedic
sta ako nadredjeni iz ovih ili onih razloga favorizira, ili obratno degradira stvarni ucinak podredjenog

dešava se-primer:

Bivši regionalni šef je svim zaposlenima davao ne loše, nego negatvine ocen,e koje su "prošle" zato što su bile po pravilima ocenjivanja detaljno objašnjene-forma zadovoljena, i usred krize u globalnoj firmi koja nije imala adekvatno razrađen HR, tako da nije došlo do revizije niti su zaposleni imali uvida u godišnje izveštaje.

Saznalo se tek kada je novom šefu vraćeno da ponovi svoj izveštaj jer je ocenivši ih izuzetno u ogromnom neskladu sa prethodnikom. Trajalo je oko godinu i po dana dopisivanja i razgovora, ali je na kraju svima za koje je utvrđeno da su bili oštećeni interni kompanijski rejting ispravljen i dobili su nadoknade i pozicije koje su zaslužili.

No, da se ne lažemo, da bi neko ispravio ovakvu krivu Drinu u firmi sa preko četvrt miliona zaposlenih neophodno je da neko "iznad" stavi na crtu i sopstvenu poziciju zarad pravde za svoj tim - a to se mnogo retko dešava.

mikimedic 15:37 31.08.2011

Re: primer

- Ovo je primer točkića mašinerije koji su se već zavrteli, a to se desilo zbog lošeg inicijalnog izveštaja - ne lošeg u smislu da je onaj ko je ocenjivao "poklonio ocene " već da je ocenjivač napravio sledeće greške:

- nije ispoštovao opisna pravila i skalu ocenjiivanja

It is expected that the rating scale is more fully used, in line with the calibration guidelines shared with all staff,

prema kojoj je očekivani rezulatat da najviše 20% postigne "exceptional" rezultate.

(It is expected) that no more than 20% of staff get exceptional overall ratings.

ne slazem se. to je upravo proizvod hr masinerija kojima je najlakse da proglase da je 20% izuzetnih, ostali su mediokriteti. pa cemo tih 20% da nagradjujemo uvek. princip uravnilovke.

sta cemo ako su u odeljenju od 5 sluzbenika realno 3 izuzetna, a 2 prosecna. da li ce ocenu izuzetan dobiti samo jedan dok ce druga dvojica dobiti 'prosecan', bas kao i ona poslednja dvojica koji su takodje prosecni, da bi se prosek koji je postavio hr zadovoljio?

isto se ne slazem sa jukievim odgovorom - sta cemo ako je 50% dece zaista izuzetno? ok - nije. jeste ekstreman primer, ali uzmi na primer matematicku gimnaziju; jel cemo i tamo primeniti da 20% treba da imaju petice, a ostali cetvorke i trojke da bi zadovoljili 'kriterijume' koje je postavio neki cata u ministarstvu prosvete?

razmisljao sam da li da napravim paralelu skolstva i ocenjivanja u firmama; iako postoji slicnost, u skolama imas koliku toliku mogucnost uporedjivanja bar unutar jednog razreda. u firmama gde su odeljenja cesto od 2-3 do max 10 ljudi to ces tesko uciniti, i onda je porediti ljude iz jednog odeljenja sa ljudima iz drugog jako tesko. a da ne govorimo ako firma ima i veliki broj kancelarija pa treba porediti ljude iz jedne kancelarije sa ljudima iz druge. nezahvalan posao.

Ovaj ocenjivač to nije uradio i mejl u kome ga podsećaju na osnovna pravila ilustrovan sa primerom kako to treba da izgleda bih na njegovom mestu shvatila krajnje ozbiljno u smislu toga kakve je ocene dobilo njegovo ocenjivanje drugih ( više nego loše).

ako bih ti rekao da sam slucajno upoznat sa konkretnom situacijom, znam da hr u tom slucaju nije ni obratio paznju na komentare koji su mandatory i inace, ne samo u slucaju high ratinga. u pitanju je chain email koji je poslat svim managerima koji su dali visoke ocene sluzbenicima.

mikimedic 15:38 31.08.2011

Re: primer

E sad, da li mora biti tako u svakoj firmi i sredini, veliko je pitanje.

mikimedic 15:39 31.08.2011

Re: odlican blog dragane

Treba lepo uvesti da zaključene ocene kod svakog nastavnika treba da prate Gausovu raspodelu gde je μ=3.5, pa kome mnogo odskaču umanjiti mu platu. Sorry, u opisu radnog mesta ti je i objektivno ocenjivanje postignuća.

zasto? i zato ces dete koje objektivno zasluzuje da ima sve petice ti saseci da bi zadovoljio nekakav kriterijum koje ti ministarstvo namece?

mikimedic 15:40 31.08.2011

Re: odlican blog dragane

No, da se ne lažemo, da bi neko ispravio ovakvu krivu Drinu u firmi sa preko četvrt miliona zaposlenih neophodno je da neko "iznad" stavi na crtu i sopstvenu poziciju zarad pravde za svoj tim - a to se mnogo retko dešava.

mikimedic 15:42 31.08.2011

Re: odlican blog dragane

li cak recimo da jedan nadredjeni ima jako visoke kriterijume, i za exceptional effort svog sluzbenika da mu ocenu 'fully effective' (na primer); dok ce drugi nadredjeni za prosecan ucinak dati takodje istu ocenu. kako cemo odabrati boljeg od njih dvojice ako obojica budu konkurisali za recimo isto mesto?

Izvini, miki o čemu ovd pričamo? "Ne mogu da gledam na oči", što bi rekli, malo sam izgubila vezu sa pojmovima.

pricamo o tome da u jednom odeljenju nastavnica prosecnim djacima daje sve petice, a u drugom odeljenju nastavnica izuzetnim djacima takodje daje petice.

po izlasku iz skole i jedni i drugi ce imati petice upisane u knjizicu.

yugaya 16:24 31.08.2011

Re: primer

mikimedic
Ovaj ocenjivač to nije uradio i mejl u kome ga podsećaju na osnovna pravila ilustrovan sa primerom kako to treba da izgleda bih na njegovom mestu shvatila krajnje ozbiljno u smislu toga kakve je ocene dobilo njegovo ocenjivanje drugih ( više nego loše).

ako bih ti rekao da sam slucajno upoznat sa konkretnom situacijom, znam da hr u tom slucaju nije ni obratio paznju na komentare koji su mandatory i inace, ne samo u slucaju high ratinga. u pitanju je chain email koji je poslat svim managerima koji su dali visoke ocene sluzbenicima.

miki, svaki takav "nesklad" se beleži na štetu ocenjivača jer HR je uvek u pravu.

...ne bih o kvalitetu ovog kadrovskog konkretno ako nakon prijema izveštaja osećaju potrebu da osnovne instrukcije ponavljaju kroz chain mail.

Proverena rešenja postoje za većinu situacija u kojima se vrši ocenjivanje. Moguća su lokalna odstupanja i posao je onog ko sprovodi celu stvar da se prethodono obavesti o njima i eventualno prilagodi instrukcije i skale unapred. Veliki broj rezultata u neskladu sa očekivanim rezultatima na testu znači ili da tester nije dobro dao instrukcije, ili da ne valja test.

To što su žabe videle potkovane konje pa je HR u većini firmi smehotresna olimpijada je sasvim nešto drugo.

Isto važi i za škole- za očajan standard ocenjivanja u nas je kriv samo i jedino nadzorni organ - ministarstvo prosvete.

ali uzmi na primer matematicku gimnaziju; jel cemo i tamo primeniti da 20% treba da imaju petice, a ostali cetvorke i trojke da bi zadovoljili 'kriterijume' koje je postavio neki cata u ministarstvu prosvete?

Ne , kriterijume ocenjivanja za posebne obrazovne ustanove tog profila postavlja i nadzire za to plaćen stručnjak ili tim iz ministarstva prosvete uz stalno konsultovanje sa školom, a ne neki/ bilo koji ćata/ sin od zaove/ posađen da tamo sedi po partijskoj direktivi. Takve škole i učenici koji iz njih izađu morali bi biti bodovani po posebnim skalama kasnije - na prijemnom za fakultete- nisam upućena u Srbiji kako je to tačno regulisano .

Jukie 16:27 31.08.2011

Re: odlican blog dragane

mikimedic
isto se ne slazem sa jukievim odgovorom - sta cemo ako je 50% dece zaista izuzetno? ok - nije. jeste ekstreman primer, ali uzmi na primer matematicku gimnaziju; jel cemo i tamo primeniti da 20% treba da imaju petice, a ostali cetvorke i trojke da bi zadovoljili 'kriterijume' koje je postavio neki cata u ministarstvu prosvete
i zato ces dete koje objektivno zasluzuje da ima sve petice ti saseci da bi zadovoljio nekakav kriterijum koje ti ministarstvo namece?

-Koristiti ovaj princip samo u OSNOVNOJ školi a ne u matematičkoj gimnaziji, zato što su osnovne škole te u kojima postoji hiperprodukcija odlikaša a ne srednje.
-koristimo ceo razred a ne jedno odeljenje. Od 100 đaka (4 odeljenja po 25) 20 odsto je 20 đaka ili u proseku 5 po odeljenju. To je sasvim dovoljno petica, jer može da bude mnogo četvorki.

Evo propisa:
...
ПРАВИЛНИК О ОЦЕЊИВАЊУ УЧЕНИКА ОСНОВНЕ ШКОЛЕ
1) одличан (5) добија ученик који је у потпуности показао способност примене знања, умења, вештина и самосталности у раду, усвојио предвиђени ниво и обим знања и степен разумевања програмских садржаја, уз веома висок степен ангажовања ученика;
2) врло добар (4) добија ученик који има висок ниво и обим знања и степен разумевања програмских садржаја и показао је способност примене знања, умења и вештина уз мању помоћ наставника и висок степен ангажовања ученика;
3) добар (3) добија ученик који има просечан ниво и обим знања и степен разумевања програмских садржаја и показао је способност примене знања, умења и вештина, уз помоћ наставника и ангажовања ученика;
4) довољан (2) добија ученик који има задовољавајући ниво и обим знања и степен разумевања програмских садржаја;
5) недовољан (1) добија ученик који није достигао задовољавајући ниво и обим знања и разумевања програмских садржаја.
...
itd.

Dakle, za četvorku ima da postigneš vrlo jake rezultate a petica je za onog ko je stvarno toliko izuzetan da štrči iznad svih ovih četvorki. I onda to dete koje stvarno zaslužuje sve petice i ima sve petice, a otprilike je jedino ili jedno od dvoje u celoj generaciji te škole (nema ih 10 ni 20).

Stvar je u tome što mi svi do sada imamo iskrivljenu sliku koliko je u stvari potrebno za 4 a koliko za 5.

To su POSTOJEĆI propisi, sa sajta Ministarstva, koji se samo ne primenjuju.

Hansel 17:59 31.08.2011

Re: odlican blog dragane

Ovim citiranim propisima nedostaje kvantifikacija, objektivni momenat za utvrđivanje stepena znanja. Sećam se kad nam je profesorka matematike na početku I razreda srednje ovo pročitala (s tim što su figurirali i procenti gradiva koje se mora znati za svaku od ocena), i mi, koji smo imali neke nagrade na takmičenjima u OŠ bili smo zabrinuti...

Prosto, prvi put smo čuli za tkao definisane kriterijume ocenjivanja...

mikimedic 20:27 31.08.2011

Re: primer

yugo, hvala na konstruktivnom komentaru. my point je samo da ne verujem i ne zelim da verujem ni u kakve uravnilovke, ni u firmama ni u skolama. ne moze neko dobiti odlicne ocene samo da bi se ispunila norma, niti obrnuto.

a pritisci postoje. chain letter koji sam prilozio je jedan od njih.

mikimedic 20:31 31.08.2011

Re: odlican blog dragane

-Koristiti ovaj princip samo u OSNOVNOJ školi a ne u matematičkoj gimnaziji, zato što su osnovne škole te u kojima postoji hiperprodukcija odlikaša a ne srednje.
-koristimo ceo razred a ne jedno odeljenje. Od 100 đaka (4 odeljenja po 25) 20 odsto je 20 đaka ili u proseku 5 po odeljenju. To je sasvim dovoljno petica, jer može da bude mnogo četvorki.

samo mi kazi ovo - pretpostavimo da po tvom misljenju, u odeljenju ima 10 (a ne 5) djaka koji objektivno zasluzuju petice, da li ces svoj desetorici dati petice, ili samo petorici da bi zadovoljio normu?

abrasax 22:33 31.08.2011

Re: odlican blog dragane

ali sta cemo onda ako u konkurenciji dvoje 'podredjenih', onaj koji je bio favoriziran od strane svog nadredjenog dobije prednost u odnosu na drugog, koji je, pretpostavimo, objektivno ocenjen?

Dragane, odličan blog. Drago mi je da sam se vratila ovde, tema je zanimljiva.
Miki, u opisnom slučaju, ne vidim šta je sporno - priča se nastavlja onakva kakva je bila.

ili cak recimo da jedan nadredjeni ima jako visoke kriterijume, i za exceptional effort svog sluzbenika da mu ocenu 'fully effective' (na primer); dok ce drugi nadredjeni za prosecan ucinak dati takodje istu ocenu. kako cemo odabrati boljeg od njih dvojice ako obojica budu konkurisali za recimo isto mesto?

Opiusuješ situaciju u kojoj ima dva nadređena za samo jedno konkursno mesto. Pretpostavljam da pitanje postavljaš iz pozicije reviewing officer-a?

u nekim firmama postoji i ocenjivanje od strane saradnika - so called 'peer review'; ideja na prvi pogled odlicna, ali: -- zaposleni sami biraju ko ce im biti 'peer reviewer' (da li postoji neki drugi nacin?), i naravno svi ce se opredeliti za princip 'ja tebe serdarom a ti mene vojvodom'.

Peer review - sa tvojom procenom se slažem - a pomenuti problem rešava se tako što se ovo ne primenjuje kao jedini, već kompatibilni metod, gde ostali metodi (npr. samoocenjivanje, ocenjivanje od strane nadređenog, reviewing officer itd.) deluju kao regulativa međuljudskih odnosa.

sledeca krajnost je ocenjivanje nadredjenog od strane (konkretnog) podredjenog.

Pored reviewing officer-a, jača je "samoregulativa međusobnih odnosa", odn. neka vrsta (privremenog) međusobnog ugovora, sa pravilima identičnim za obe strane.

konkretan problem je kako oceniti ocenjivaca? kako utvrditi da on daje objektivne ocene?

Ocenjivač, odn. "nadređeni" imaće ispravnu metodologiju čitavog procesa edukacije ukoliko je u njega ugrađen sistem ocenjivanja. Drugim rečima, usvajanje metoda ocenjivanja predstavlja jednu od metoda usvajanja sadržaja edukacije.

abrasax 22:57 31.08.2011

Re: odlican blog dragane

t is expected that the rating scale is more fully used, in line with the calibration guidelines shared with all staff), and that no more than 20% of staff get exceptional overall ratings. Exceptional rating is about exceptional performance, and therefore this means that staff members greatly surpassed the accomplishments which were expected of them during the appraisal cycle, or consistently demonstrated competencies which were higher than those expected at their level. As a reference, a staff member who fully met expectations should be given a rating between 6 and 8. In cases of exceptional performance, exceptional ratings may be discussed with the staff member's Reviewing Officer in the spirit of the calibration guidelines.

Dakle, ovde se podsećamo na suštinski interakcijski odnos ocenjivanja i ocenjivača - odnosno, cirkularni lanac kriterijumi - usvajanje - primena (središnju ulogu, dakle, ima proces usvajanja).
Ocenjivač je, dakle, pojedinac naspram kriterujima koji se, u ozbiljnim slučajevima, utvrđuju eksperimentalno ili timski i često - ukoliko se želi obezbediti čvršća utemeljenost, pa trajnost - u oslonu na tradiciju. Iskustvena grupa koja je postigla opisane rezultate, tako, iskrsava ne kao greška, već kao, u nedostatku izraza da kažemo - korekcioni koeficijent.

abrasax 23:19 31.08.2011

Re: odlican blog dragane

mikimedic
li cak recimo da jedan nadredjeni ima jako visoke kriterijume, i za exceptional effort svog sluzbenika da mu ocenu 'fully effective' (na primer); dok ce drugi nadredjeni za prosecan ucinak dati takodje istu ocenu. kako cemo odabrati boljeg od njih dvojice ako obojica budu konkurisali za recimo isto mesto?

Izvini, miki o čemu ovd pričamo? "Ne mogu da gledam na oči", što bi rekli, malo sam izgubila vezu sa pojmovima.

pricamo o tome da u jednom odeljenju nastavnica prosecnim djacima daje sve petice, a u drugom odeljenju nastavnica izuzetnim djacima takodje daje petice.

po izlasku iz skole i jedni i drugi ce imati petice upisane u knjizicu.

Miki, drago mi je da pričamo.

abrasax 23:26 31.08.2011

Re: odlican blog dragane

Hansel
Ovim citiranim propisima nedostaje kvantifikacija, objektivni momenat za utvrđivanje stepena znanja. Sećam se kad nam je profesorka matematike na početku I razreda srednje ovo pročitala (s tim što su figurirali i procenti gradiva koje se mora znati za svaku od ocena), i mi, koji smo imali neke nagrade na takmičenjima u OŠ bili smo zabrinuti... Prosto, prvi put smo čuli za kao definisane kriterijume ocenjivanja...

Opisno ocenjivanje deo je sistema ocenjivanja, kao i kvantifikativno i druga- da ne širimo previše priču.

Jukie 06:23 01.09.2011

Re: odlican blog dragane

mikimedic
samo mi kazi ovo - pretpostavimo da po tvom misljenju, u odeljenju ima 10 (a ne 5) djaka koji objektivno zasluzuju petice, da li ces svoj desetorici dati petice, ili samo petorici da bi zadovoljio normu?

Ako bi pravilo o 20 odsto bilo na snazi kako sam ga objasnio, 20 odsto od ukupnog broja đaka, dakle i od ostala 3 odeljenja. Sve đake sa sigurnim četvorkama (kojih bi sigurno bilo više od 20 odsto) bih rangirao po kriterijumima koji razlikuju četvorku od petice.

Evo tih kriterijuma:
-ниво и обим знања и степен разумевања програмских садржаја
-способност примене знања, умења, вештина
-степен ангажовања ученика
-самосталности у раду/уз мању помоћ наставника

Onda bih povukao crtu ispod 20 odsto. Možda u jednom odeljenju ne bude niko, a u drugom desetoro.

Vidim da ti to posmatraš kroz decu koja "objektivno zaslužuju peticu" ali to je fluidna kategorija. Kako god okreneš negde mora da postoji granica između četvorke i petice, a jasno je da je razlika u nekom mestu na gradijentu.

Ako stalno ocenjuješ dosledno parametrima (a postoje standardi šta đaci treba da umeju da urade - ovi "programski sadržaji" ) imaćeš veliki broj kvalitativno-kvantitativnih podataka i moći ćeš najbezbolnije da presečeš dokle4/odakle5.

Četvorka bi trebalo da je JAKO dobro znanje, JAKO dobro umenje i JAKO dobre navike, ali ne onoliko koliko ih ima petica, koja baš štrči iznad. Mislim da većina ljudi ako pročita SAMO ono gore objašnjenje šta je za četvorku misli da je to za peticu.

"Objektivno zaslužuju peticu" (za razliku od ovamo/onamo/5-) je u suštini nešto preko 92-95 odsto u proseku na svakom testu, a ako se objektivno* ocenjuje to postiže MNOGO manji broj dece od 20 odsto (1-2 deteta po odeljenju, što je 5-10 odsto; opet ne gledamo Matematičku gimnaziju, nego običnu osnovnu školu). Većina petica su 5-, ljudi koji imaju osam-devet petica i sedam-osam četvorki itd.

*npr. ako se pri ocenjivanju malih odgovora iz prirodnih nauka koristi način ocenjivanja na PISA testu, sa unapred određenim šta donosi ceo poen, a šta pola poena. Iz mog iskustva sa zajedničkim pregledanjem zadataka na takmičenjima video sam da mnoge nastavnice imaju tendenciju da "otprilike tačan" odgovor priznaju sa celim poenom, što je pogrešno.

mikimedic 07:36 01.09.2011

Re: odlican blog dragane

Opiusuješ situaciju u kojoj ima dva nadređena za samo jedno konkursno mesto. Pretpostavljam da pitanje postavljaš iz pozicije reviewing officer-a?

ne, nevezano. primer je hipoteticki u kojoj ce jedan zaposleni koji postize izuzetne rezultate dobiti ocenu 'fully effective' od svog nadredjenog koji ima visoke kriterijume, dok ce zaposleni koji ima prosecan ucinak dobiti istu ocenu od nadredjenog koji ima prosecni kriterijum.

nevezano od ocenjivanja, sutra njih dvojica, hipoteticki, mogu da se prijave za isto radno mesto i u startu ce na papiru biti jednaki.

Peer review - sa tvojom procenom se slažem - a pomenuti problem rešava se tako što se ovo ne primenjuje kao jedini, već kompatibilni metod, gde ostali metodi (npr. samoocenjivanje, ocenjivanje od strane nadređenog, reviewing officer itd.) deluju kao regulativa međuljudskih odnosa.

i to si u pravu, ali koja je uloga samog po sebi peer review ako je postavljen na nacin kako sam ga opisao. bez obzira na druge faktore, ovaj donosi samo iskrivljenu sliku ( i iskrivljuje te druge faktore). voleo bih da cujem da li postoji praksa da se radi anonimni peer review, i opet na koji nacin bi se odredjivali ko ce bit anonimni peer reviewers?

miki
sledeca krajnost je ocenjivanje nadredjenog od strane (konkretnog) podredjenog.

abrasax
Pored reviewing officer-a, jača je "samoregulativa međusobnih odnosa", odn. neka vrsta (privremenog) međusobnog ugovora, sa pravilima identičnim za obe strane.

ok, ali ja stvarno ne mogu da zamislim situaciju u kojoj ce podredjeni dati losu ocenu nadredjenom - osim ako nije neka vec specificna incidentna situacija.

Ocenjivač, odn. "nadređeni" imaće ispravnu metodologiju čitavog procesa edukacije ukoliko je u njega ugrađen sistem ocenjivanja. Drugim rečima, usvajanje metoda ocenjivanja predstavlja jednu od metoda usvajanja sadržaja edukacije.

ok, slazemo se.

mikimedic 07:37 01.09.2011

Re: odlican blog dragane

Miki, drago mi je da pričamo.

mikimedic 07:43 01.09.2011

Re: odlican blog dragane

juki - pazljivo sam procitao tvoj komentar, i stoji sve sto si naveo. verujem da je daleko manji broj dece koji 'objektivno zasluzuju pet' od tih famoznih 20%, pa bilo da je nivou odeljenja, razreda ili cele skole.

meni je ovo pitanje principa - iskljucivo hipoteticki, mislim da mi nisi odgovorio na pitanje:

sta ces uraditi u slucaju, ako uzevsi sve tvoje kriterijume koje si naveo u komentaru, ukupan broj dece koji 'objektivno zasluzuju peticu' ne bude 20, nego 30%? na nivou odeljenja, razreda, ili skole, svejedno.

da li ces za 20% podeliti petice, a onih ostalih 10% ce morati da se zadovolje cetvorkama? i zasto? da li je to u redu?

ako mi kazes da ces svima koji 'objektivno zasluzuju pet' dati pet bez obzira na procenat, skinucu ti kapu.

Hansel 08:15 01.09.2011

Re: odlican blog dragane

abrasax
Opisno ocenjivanje deo je sistema ocenjivanja, kao i kvantifikativno i druga- da ne širimo previše priču.

Ovde nije bilo reči o opisnom ocenjivanju, nego o kriterijumima ZA ocenjivanje (bar sam ja tako shvatio). Ako i opisno ocenjuješ, moraš da znaš koji nivo znanja kako ocenjuješ, a naročito ako ocenjuješ brojčano.

Hansel 12:49 31.08.2011

Već sam pomislio da imam déjà vu

Prvu verziju ovog teksta...

Tada nisam mogao da pažljivo čitam, pa nisam čitao, računajući da ću se pre ili kasnije vratiti, a sada ga vidim kao novi, sa istim naslovom!

Naravno, sve si objasnio, hvala.

Svaka čast za tvoj autorski perfekcionizam i uvažavanje blogerske javnosti!

Dragan Pleskonjic 12:55 31.08.2011

Re: Već sam pomislio da imam dega vu

Hansel
Svaka čast za tvoj autorski perfekcionizam i uvažavanje blogerske javnosti!

Hvala na čitanju i poverenju.

abrasax 13:31 31.08.2011

Re: Već sam pomislio da imam dega vu

Dragan Pleskonjic
Hansel
Svaka čast za tvoj autorski perfekcionizam i uvažavanje blogerske javnosti!

Hvala na čitanju i poverenju.

Hvala i sa moje strane.

Hansel 17:42 31.08.2011

Re: Već sam pomislio da imam déjà vu

I, moja ispravka naslova, lapsus u kucanju, nije dega vu, nego deja vu, a sada sam se potrudio da ubacim i akcente.

fantomatsicna 13:02 31.08.2011

Mi ovde takve

poruke..We regret to inform you zovemo..Thank you letters.
Naravno da je teret koji ocenjivaci i recenzenti nose na sebi ogroman.Tim vise sto se smatraju poznavaocem materije za koju to rade .Ali kao svi ljudi i oni mogu pogresiti u oceni i proceni...

Dragan Pleskonjic 09:33 01.09.2011

Authors whose works were rejected

30 famous authors whose works were rejected (repeatedly, and sometimes rudely) by publishers

Da li neko zna jesu li ove odbijenice stvarne ili izmišljene?

Takođe, još jedna interesantna lista:
50 Famously Successful People Who Failed At First

4krofnica 09:09 02.09.2011

Re: Authors whose works were rejected

50 Famously Successful People Who Failed At First

Walt Disney: Today Disney rakes in billions from merchandise, movies and theme parks around the world, but Walt Disney himself had a bit of a rough start. He was fired by a newspaper editor because, "he lacked imagination and had no good ideas."

Abraham Lincoln: While today he is remembered as one of the greatest leaders of our nation, Lincoln's life wasn't so easy. In his youth he went to war a captain and returned a private (if you're not familiar with military ranks, just know that private is as low as it goes.)

Stephen King: The first book by this author, the iconic thriller Carrie, received 30 rejections, finally causing King to give up and throw it in the trash. His wife fished it out and encouraged him to resubmit it, and the rest is history,

--
'George Orwell
One publisher rejected Mr. Orwell's submission, Animal Farm, with these words:
It is impossible to sell animal stories in the USA.'

:))))
--

Frank Sinatra once said, "The best revenge is massive success."

Sakrij replike | Pošaljite komentar

Dragan Pleskonjic

RSS Feed Saznajte više o autoru

Blogovi autora

Svi blogovi

Izazovi (pr)ocenjivanja

Atačmenti

Tagovi

Recenzija kreativnosti

Re: Recenzija kreativnosti

...

Re: ...

:)

Re: :)

odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: primer

Re: primer

Re: odlican blog dragane

Re: odlican blog dragane

Re: primer

Re: primer

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: primer

Re: odlican blog dragane

Re: odlican blog dragane

Re: primer

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Re: odlican blog dragane

Već sam pomislio da imam déjà vu

Re: Već sam pomislio da imam dega vu

Re: Već sam pomislio da imam dega vu

Re: Već sam pomislio da imam déjà vu

Mi ovde takve

Authors whose works were rejected

Re: Authors whose works were rejected

Dragan Pleskonjic

Blogovi autora

Najnovije VIP blogeri

Najnovije blogeri

Arhiva

Kategorije aktivne u poslednjih 7 dana

Najaktivniji autori u poslednjih 15 dana