인공지능의 법적 규율 II: 판별모델
Legal Oversight of AI, Part Two: Discriminative Model
박상철(서울대학교 법학전문대학원)
65권 2호, 317~380쪽
초록
판별모델(discriminative model)은 주로 지도학습 기반의 분류기 또는 채점기이다. 그간 판별모델의 법적 통제는 불투명성과 자동화에 의한 인간소외, 존엄성 훼손에 초점이 맞춰졌다. 이는 2020년 신용정보법상 “자동화평가” 설명요구⋅이의제기권, 2021년 행정기본법상 “자동적 처분”의 재량행위 활용 금지와 기속행위 활용 법률유보, 2023년 개인정보법상 “자동화된 결정” 거부권⋅설명등요구권⋅공개의무 조항으로 이어진다. 그러나 소외⋅존엄은 자동성보다는 자율성의 문제이고, 불투명성⋅편향이 사람의 판단에 현저한 경우도 많으니, 자동화의 금지⋅제약이 제대로 된 해법이 될 수 없다. 특히, 취업준비생 등 판별대상자들이 현실에서 겪는 어려움을 덜려면, 소외⋅존엄 등 추상 개념에 천착할 것이 아니라, 완전자동⋅부분자동⋅수동을 불문하고 판별 작업의 정확성, 가치정렬성, 비차별성, 다원성을 기해야 한다. 따라서 입법적 과제는 의사결정 자동화의 억지⋅지연에 있는 것이 아니라, (1) 기존의 사람에 의한 결정의 성실성까지 성찰하면서, (2) 귀납⋅실증⋅데이터에 근거한 판별모델의 도입을 오히려 촉진하고, (3) 이로써 채점기준(rubric)의 공개 등 더 나은 설명을 기하되, (4) 판별대상자들이 부당하게 차별받고 배제되지 않도록 안전장치를 설정함에 있다. 이 관점 하에 다음 단계를 거쳐 기존 입법의 대안을 강구한다. 첫째, 판별모델을 사람과의 상호작용 방식에 따라 유형화하여 (1) 배분모델(채용⋅입학사정⋅대출심사⋅신용평가⋅보험계약인수⋅사회보장⋅랭킹 등)은 차별, (2) 제재모델(부정계정탐지⋅사기탐지⋅보험손해사정⋅재범예측 등)은 오판(정확성의 부족), (3) 인지모델(의료영상진단⋅센서⋅생체인증⋅추천 등)은 안전을 해하거나 배분⋅제재모델의 특성값에 오류를 초래할 정도의 정확성(견고성 포함)의 부족(품질편차 문제 포함), 프라이버시를 해할 정도의 정확성의 과잉을 핵심 위해로 지목한다. 모델에 대한 설명⋅공개는 배분⋅제재모델에서 판별대상자에게 대칭적 정보 하에서의 개선의 기회 또는 차별에 문제제기할 근거를 부여하는 장치로 구성한다. 둘째, 법적 개입을 정당화할 만큼 (1) 공적 영역에서 활용되거나 판별대상자의 삶을 좌우하는 배분⋅제재모델, (2) 안전, 프라이버시 리스크가 있거나 배분⋅제재모델에 투입될 특성값을 매기는 인지모델을 식별한다. 셋째, 이같이 식별된 모델들에 대해 앞서 지목된 핵심 위해를 측정⋅경감하는 방법과 이를 뒷받침할 법적 수단을 검토한다. 넷째, 상기 검토를 종합하여 현 자동화 평가⋅처분⋅결정 규제의 대안을 제시한다.
Abstract
A discriminative model is largely a supervised learning-based classifier or regressor/interpolator. Legal responses thus far have primarily targeted bias and opacity arising from “black boxes” or “algorithmic alienation.” These notions have led to regulations such as the explanation requirement for automated evaluation under the Credit Information Act of 2020, the prohibition of discretionary actions in automated disposition under the Framework Act on Administration of 2021, and the explanation and disclosure requirement for automated decision-making under the Personal Information Protection Act of 2023. However, bias, opacity, and alienation are not exclusive to AI. They already exist in human judgment processes that discriminative models seek to replace or complement, sometimes to a greater extent. Viewing the emergence of AI as an opportunity to reflect on existing human decisions, the legal system must be revamped to ensure fairness and acceptability in decisions impacting others’ lives, regardless of being automated or not. From this perspective, the following steps are taken to examine the problems of existing legislation and seek alternatives. First, discriminative models are categorized based on how they interact with humans, and different harms are mapped for each category: (1) discrimination in allocative models (such as hiring, admission, loan review, credit scoring, insurance underwriting, public assistance, ranking, etc.); (2) misjudgment (lack of accuracy) in punitive models (such as fraud detection, insurance claim adjustment, recidivism prediction, etc.); and (3) either lack of accuracy (including robustness) jeopardizing safety or excessive accuracy compromising privacy in cognitive models (such as medical imaging and diagnosis, sensors, biometric authentication, recommendations, etc.). Instead of conceptualizing opacity as a stand-alone harm, explanations and disclosures about the model are structured as means to provide affected individuals with opportunities for improvement under symmetric information or grounds for challenging discrimination in allocative models or quality disparity in punitive models. Second, (1) allocative or punitive models either deployed in the public domain or decisive of individual lives and (2) cognitive models posing safety or privacy risks are identified to justify legal intervention. Third, tools for measuring and mitigating the identified core concerns of these models and appropriate legal means are reviewed. Fourth, alternatives to existing automated decision-making rules are explored.
- 발행기관:
- 법학연구소
- 분류:
- 법학