일반화 가능도 이론을 적용한 다면평가의 평가자 효과 연구
A Generalizability Theory Approach in Investigating the Rater Effect in 360 Degree Feedback
정재창(중앙대학교)
11권 3호, 193~211쪽
초록
이 연구는 최근 기업에서 확산되고 있는 인사평가나 인력개발의 새로운 형태인 다면평가(360 degree feedback)의 평가자 효과에 대한 연구이다. 다면평가에서는 다수의 평가자가 한 명의 평가대상을 평가하게 되는데, 이 때 다수의 평가자들 간의 응답패턴이 서로 다를 수 있다. 이러한 경우 평가결과의 신뢰도가 낮아지게 되며, 낮은 신뢰도는 인사평가 결과의 활용을 제한하는 요인으로 작용하게 된다. 이 연구는 현재 기업에서 사용되고 있는 리더십 역량 다면평가에서 평가자의 영향력을 일반화 가능도 이론을 적용하여 분석하였다. 일반화 가능도 이론을 통해 평가자 효과를 검정할 수 있으며, 적정 수준의 신뢰도 확보를 위한 평가 구조를 결정할 수 있다. 연구 결과, 서로 다른 평가주체(본인, 상사, 부하집단)들은 서로 다른 평가결과를 제공하고 있었다. 본인평가 점수는 상사평가나 부하평가 점수보다 더 높았다. 다수의 평가자를 포함하고 있는 부하집단의 평가 결과를 분석한 결과, 적절한 신뢰도를 확보하기 위한 평가자 집단 규모는 평가 결과의 활용에 따라 서로 다른 것으로 나타났다. 하위 영역별 점수를 활용하기 위해서는 5명이상의 평가자가 필요한 것으로 분석되었고, 하위 영역 점수를 합산한 합성점수로 사용할 경우는 3명의 평가자만으로도 높은 신뢰도를 확보하는 것으로 나타났다.
Abstract
The 360 degree feedback, an alternative evaluation method in the fields of human resources and organization, is gaining more and more popularity in recent years. Previous studies revealed that the response patterns among superior, self, and subordinate raters were not analogous, and the subordinate raters could provide more reliable and informative information. This study aimed to investigate the rater effect in 360 degree feedback using the results of subordinate group ratings. The generalizabiltiy theory was adopted in analyzing rater effect and deriving reliability. In this study, it was found that there existed disimilarities among superior, self, and subordinate raters. It was suspected that the self-evaluation is positively biased than other results. It was also found that the appropriate numbers of rater were depending on the practical uses of scores. When sub factor scores were used in decision making, more than 5 raters would be needed. When composite score is used, 3 raters would be sufficient.
- 발행기관:
- 한국인력개발학회
- 분류:
- 평생교육