생성형 인공지능 할루시네이션 현상의 법적 책임 구조와 기본권 보호를 위한 규범설계
The Legal Responsibility Framework of Generative AI Hallucinations and Normative Design for the Protection of Fundamental Rights
이형석(우석대학교)
14권 1호, 49~88쪽
초록
본 논문은 생성형 인공지능에서 반복적으로 발생하는 할루시네이션 현상을 단순한 기술적 오류가 아닌 구조적·제도적 위험으로 재정의하고, 그로 인한 기본권 침해 가능성과 현행 법체계상 책임 구조의 한계를 분석한다. 생성형 인공지능은 사실 검증이 아닌 확률적 언어 생성을 기반으로 작동함으로써, 존재하지 않는 법령·판례·통계 등을 사실처럼 제시하는 특유의 오류를 내포한다. 이러한 할루시네이션은 정보의 신뢰성을 훼손하고, 명예권·개인정보 자기결정권·표현의 자유 등 헌법상 기본권 침해로 전이될 수 있다. 특히 공공 영역과 전문 직역에서 생성형 인공지능이 판단 보조 수단을 넘어 사실상의 결정 근거로 활용될 경우, 기술적 위험은 제도적 위험을 거쳐 헌법적 위험으로 구조화된다. 본 논문은 Mata v. Avianca 사건 등 국내외 사례를 통해 책임 귀속의 공백과 검증 의무의 문제를 검토하고, 검열 금지 원칙과 비례성 원칙을 고려한 규범 설계의 방향으로서 사후 책임 중심의 입법적 대응과 인간의 최종 판단 책임 명확화를 제안한다. 이를 통해 생성형 인공지능 시대에 부합하는 기본권 보호 중심의 법적 책임 구조를 모색한다.
Abstract
This article reconceptualizes hallucinations in generative artificial intelligence as structural and institutional risks rather than mere technical errors, and examines their implications for fundamental rights and legal responsibility. Generative AI operates through probabilistic language generation without mechanisms for factual verification, which enables the production of non-existent statutes, judicial precedents, or statistical data presented as credible information. Such hallucinations undermine informational reliability and may result in infringements of constitutionally protected rights, including reputation, informational self-determination, and freedom of expression. In particular, when generative AI is utilized in the public sector and professional domains not only as a decision-support tool but as a de facto basis for decision-making, technological risks are transformed into institutional risks and ultimately crystallize into constitutional risks. Drawing on comparative case studies, including Mata v. Avianca, this article identifies gaps in responsibility attribution and deficiencies in existing verification obligations. It argues that regulatory responses should focus on ex post liability mechanisms and the clarification of human final decision-making responsibility, while respecting the prohibition of prior restraint and the principle of proportionality. The article ultimately proposes a normative framework for legal responsibility that prioritizes the protection of fundamental rights in the era of generative artificial intelligence.
- 발행기관:
- 사단법인 한국법이론실무학회
- 분류:
- 법학