법률영역에서 GPT-4 활용 가능성과 시사점 - 법학적성시험(LEET) 중심으로 -
Potential Applications and Implications of GPT-4 in Legal Inference Using Korean Legal Aptitude Test (LEET)
박성미(고려대학교 정보보호대학원 박사과정); 박지원(한림대학교 정보법과학과 석사과정); 안정민(한림대학교 정보법과학과 교수)
16권 1호, 7~28쪽
초록
2022년 11월 OpenAI에서 공개한 초거대 언어모델(Large Language Model, LLM) 기반 대화형 인공지능 ChatGPT가 전세계적으로 큰 반향을 일으키고 있다. 특히 가장 최근 모델인 GPT-4의 경우 LSAT의 성적이 상위 12%의 점수를 기록하는 등 혁신적인 성과를 보여줌으로써 언어와 추론에 크게 의존하는 법률 분야에서 법률 문서 해석, 계약서 작성 등 모든 법률 업무에서 사람을 대체할 수 있는 수준까지 얼마 남아 있지 않았다는 예측이 있다. 본 연구는 이러한 막연한 우려에 대한 근거를 객관적인 실험을 통해 증명해보고자 하였다. 이를 위해 본 연구에서는 OpenAI가 발표하였던 미국의 LSAT 실험 결과를 재확인해보고, 이와 유사한 우리나라의 법학적성시험인 LEET 시험의 문제풀이 분석을 통해 법률영역에서 GPT-4가 가지고 올 영향을 평가해 보고자 하였다. 이를 위해 GPT-4의 문제풀이가 논리적이고, 타당하며, 정확한 추론을 내릴 수 있도록 다양한 프롬프트 디자인을 통한 실험을 진행하였다. 이러한 실험 방법을 통해 GPT-4의 추론 과정에서 발생한 문제점을 분석하여 적시하였다. 연구결과에 의하면 GPT-4 모델이 LEET 시험 문제를 풀 때 피상적인 분석만 가능하며 새로운 사실 적용이 어렵고, 개방형 질문에 대한 답변이 일관되지 않으며, 암시적 사실은 단순히 없는 것으로 판단하는 경우 등이 나타나 아직까지 GPT-4는 합리적인 추론모델로 인정하기 어려웠다. 다만, 법률 말뭉치를 활용한 사전학습, 법률전문가 피드백 시스템 구축, 법적 지원 기술 개발 등의 방식으로 추론영역에서 사람의 의사결정을 지원할 수 있는 가능성은 충분하다고 판단된다.
Abstract
In November 2022, OpenAI released ChatGPT, a conversational AI chatbot, which caused a global sensation. The most recent model, GPT-4 is expected to replace experts in various legal tasks, including interpreting legal documents and drafting contracts, due to its impressive performance enhancements, such as achieving top 12% on LSAT. This study aims to objectively prove the concerns surrounding GPT-4 through experiments. To achieve this, the study confirmed the results of the LSAT experiment announced by OpenAI and evaluated the potential impact of GPT-4 on the legal field by analyzing the problem-solving of LEET, a legal aptitude test similar to LSAT, in Korea. The study conducted various prompt design experiments to ensure that GPT-4's problem-solving is logical, valid, and able to draw accurate inferences. The study analyzed the problems that arose during GPT-4's inference process through this experimental method. The research results showed that GPT-4 can only perform superficial analysis when solving LEET test questions, has difficulty applying new facts, returns inconsistent answers to the same question, and often ignores implicit facts. Therefore, it is currently difficult to recognize GPT-4 as a rational inference model. However, it has potential to aid human inference in law by pre-training with legal data, incorporating expert feedback, and developing specialized legal technology.
- 발행기관:
- 법학연구소
- 분류:
- 법학