생성형 AI의 법･정치적 추론 성능 분석: 대학수학능력시험 <정치와 법> 과목을 중심으로
When AI Takes the Exam: Legal and Political Reasoning of Generative AI Models on the CSAT “Politics and Law” Test
송성민(강원대학교)
20권 3호, 159~192쪽
초록
이 연구는 최근 비약적으로 발전한 생성형 AI가 대학수학능력시험 <정치와 법> 문항 정답을 얼마나 정확하게 추론할 수 있는지 분석하고, 모델 유형에 따른 법･정치적 추론 성능의 차이를 검증하는 데 목적이 있다. 이를 위해 GPT 4o, 4.5, o3 모델을 대상으로 2021~2025학년도 <정치와 법> 100개 문항을 풀이시켜 정답률, 원점수, 추정등급을 산출하고, 모델 간 성능 차이를 통계적으로 분석하였다. 분석 결과, 4o와 4.5 모델 간에는 유의한 차이가 나타나지 않아 단순한 양적 개선만으로는 추론 성능 향상이 제한적임을 확인하였다. 반면 추론 특화 모델인 o3는 평균 정답률 83%로 두 모델을 크게 상회하였고, 특히 고난도 문항에서도 높은 정답률을 보였다. 이는 추론 모델의 질적 개선이 법･정치적 사고를 요구하는 문제 해결에서 결정적 영향을 미친다는 점을 시사한다. 본 연구는 수능 <정치와 법> 시험 문항에 대한 AI의 정답 추론 성능을 객관적으로 규명하였다는 점에서 의의를 가지며, 향후 교육평가 및 교수-학습 설계, 그리고 사회과 정치･법교육에서 AI의 실질적 적용 가능성과 패러다임 변화 필요성을 제안하고 있다.
Abstract
This study examines how accurately recent generative AI models can infer the correct answers to the “Politics and Law” section of the Korean College Scholastic Ability Test (CSAT) and evaluates differences in legal and political reasoning across model types. To this end, GPT-4o, GPT-4.5, and the reasoning-specialized GPT-o3 were tested on 100 CSAT items from the 2021–2025 examinations. For each model, accuracy rates, raw scores, and estimated grade levels were calculated, followed by statistical analyses of performance differences. The results show no significant distinction between GPT-4o and GPT-4.5, indicating that incremental quantitative improvements alone do not substantially enhance reasoning performance. In contrast, GPT-o3 achieved an average accuracy of 83%, substantially outperforming the other models and demonstrating high correctness even on difficult items. These findings suggest that qualitative advancements in reasoning-oriented model play a decisive role in solving problems requiring legal and political reasoning. This study contributes by objectively identifying the level of AI reasoning performance on CSAT “Politics and Law” items and proposes that future educational assessment and instructional design reconsider the practical applicability of AI and the need for a paradigm shift.
- 발행기관:
- 한국법교육학회
- 분류:
- 기타교육학