애스크로AIPublic Preview
← 학술논문 검색
학술논문행정법연구2025.11 발행

공적 영역의 자동화와 인공지능, 그리고 알고리즘적 차별

Automation, Artificial Intelligence, and Algorithmic Discrimination in Public Sector

정해빈(헌법재판소)

78호, 301~332쪽

초록

인공지능은 기술 혁신에 비해 문화적 기대가 앞서는 분야다. 따라서 잘못 형성된 기대는 인공지능의 발전 방향은 물론, 이를 규율하는 법적 논리마저도 비틀어버릴 수 있다. 데이터의 편향과 개발자의 편견이 인공지능 판단에서의 차별을 증폭시키므로 데이터와 알고리즘을 투명하게 관리하고 개발자들에게 윤리를 교육해야 한다는, 이른바 알고리즘적 차별의 문제의식 역시 이러한 경향에서 예외가 아니다. 그간 알고리즘적 차별이라는 화두는 인간보다 뛰어난 인공지능이 남몰래 불투명한 방식으로 차별을 저지르는 병적 습관이 있다는 공포영화의 생각할 거리처럼 여겨져 왔다. 그러나 그런 병적 인공지능을 굳이 만들고 업무에 투입한 다음 공포에 떠는 이유가 대체 무엇이란 말인가? 이 서사에는 막연히 인공지능이 인간보다 뛰어나므로 알고리즘적 차별은 불가피하게 감수되어야하는 위험이라는, 즉 알고리즘적 효율과 차별을 트레이드오프 관계로 여기는 전제가 깔려 있다. 이러한 전제는 수익성 등 계량화가 용이하고 일의적인 경영 지표를 최적화 목표로 삼는 사적 영역에 인공지능을 도입하는 맥락에서는 이해될만한 여지가 있다. 수익성을 좇는 알고리즘은 이를 극대화하는 측면에서는 인간보다 뛰어날 수 있고, 다만 그렇게 무자비하게 수익성을 최우선으로 좇는 과정에서 차별금지 등의 목표가 부차적으로 밀려나며 등한시될 수는 있다. 이런 사적 영역의 구도에서는 기업의 고유한 경영 목표를 가능한 존중하면서도 알고리즘적 차별을 최소화한다는 의미에서 제도적 트레이드오프가 적절한 접근방식이 될 수 있다. 그러나 절차적 공정성 등 계량화가 어렵고 다의적인 공적 가치를 최우선적으로 추구해야 하는 공적 영역에 인공지능을 도입하는 맥락에서 그런 접근방식이 이해되기는 어렵다. 인공지능 도입 그 자체는 인공지능 도입의 목적일 수 없다. 인공지능 도입은 자동화라는 사회경제적 효과를 겨냥한다. 이는 단순히 기존 업무를 있는 그대로 기계적으로 가속하는 것이 아니라, 업무 구조 및 내용 전반을 계량화된 최적화 목표에 맞게 재구성하는 것을 의미한다. 따라서 공적 영역에서 인공지능의 도입은 무엇의 최적화를 추구하는지를 되돌아볼 필요가 있다. 비용절감이나 처리속도 증대 등 부수적이고 단편적인 목표의 최적화만을 좇을 경우, 공적 조직은 절차적 공정성 등 본래적 목표를 잃어버릴 수 있다. 일을 대충 망치면서 돈을 아끼는 것이 공적 영역의 목표가 되어서는 곤란하다. 그러므로 알고리즘적 차별의 맥락에서 데이터와 개발자만을 탓하는 사고방식은, 적어도 공적 영역의 맥락에서는 재검토될 필요가 있다. 자동화는 갑자기 일어나는 자연재해가 아니며, 공적 조직이 가만히 있었음에도 개발자들이 공적 영역에 불투명하고 무자비한 알고리즘을 멋대로 우겨넣는 것이 아니다. 공적 영역에 인공지능을 도입하고 자동화를 추진하기 위해 목표를 설정하고 개발자들을 고용하며 학습데이터를 선별하여 제공하고 성과를 감독하는 모든 과정의 주도권은 인공지능을 도입하려는 발주자, 즉 국가 등의 공적 조직에게 있다. 이런 맥락에서는 개발자가 아닌 발주자로서의 국가에게 법경제학적 최소비용회피자의 지위가 존재하는 셈이다. 따라서 공적 영역에서 인공지능 도입은 반드시 그 최적화 목표 및 이를 평가할 벤치마크의 검사 지표의 적정성을 따져볼 필요가 있으며, 그것이 부적절하게 수행된 탓에 초래된 알고리즘적 차별에 대해서는 국가 등 공적 조직이 발주자로서 개발자들에 앞서 우선적으로 책임을 져야 한다.

Abstract

On artificial intelligence (AI), speed of cultural expectation exceeds that of technological innovation. Thus, poorly shaped cultural expectations on AI can convolute the way technology develops, and even legal policies of how it should be regulated. Algorithmic discrimination, a legal question that bias of data and prejudice of developers may escalate level of discrimination in decision making processes of AI, therefore usually considering transparency of data and ethical training of developers as solutions, is also another clear example of wrongful expectations on AI muddling legal policies. So far, algorithmic discrimination has been regarded as talking point for a horror movie with plot of artificial intelligence superior to humans having secret pathological habit of committing discrimination opaquely. Then why do we end up in that prosaic horror after building such pathological artificial intelligence and putting it into workplace, fearing whether it can commit discrimination without being noticed? Because in this narrative, as AI is vaguely believed as superior to humans, algorithmic discrimination is assumed as an inevitable risk, therefore putting algorithmic efficiency and discrimination in a trade-off relationship. This kind of narrative is understandable in context of adopting AI to private sector where optimization by AI targets monosemic and easily quantifiable management goals like profit. Algorithms for profit maximization have potential to become real superior to humans, yet by pursuing such goals so ruthlessly, other goals like anti-discrimination can be pushed aside and neglected. Trade-off relationships can be proper approach in these situations, by minimizing algorithmic discrimination while respecting management goals. However, in public sector, where goals are mostly polysemic and hard to quantify, such kind of narrative has little room for understanding. AI adoption itself cannot be the goal of AI adoption. Its socio-economic goal, automation, is not just a mechanical acceleration of existing workflow. It is rather a reconstruction of existing workflow to fit quantified optimization goals. Thus, we need to look back on what kind of goal is pursued when bringing AI into public sector. Public organizations can lose their own authentic goals like procedural fairness if they keep seeking secondary goals like cost reduction. Saving money by giving jobs a lick and a promise should not be a desirable goal for the public sector. So, blaming biased data and prejudiced developers, is not a good approach for addressing algorithmic discrimination in the public sector. Automation is not a natural disaster happening suddenly. It is not developers who indiscriminately put opaque and ruthless AI algorithms into public sector, while public organizations were sitting still. When bringing AI into public sector to promote automation, public organizations like state have substantive power to oversee whole processes of adoption such as setting specific development goals, hiring certain developers, sorting out data for training, and checking achievement of development goals, because they are the contractors who ordered such AI. Since such public organizations in this context can be regarded as least cost avoider from concept of law and economics, when bringing AI into the public sector, it is a necessary duty of public organization in charge, to examine whether optimization goals and benchmark test standards are set properly. Therefore, public organizations like state, as the contractor who ordered development of that AI, should be held primarily responsible before developers, for algorithmic discriminations resulting from improper implementation of such duty.

발행기관:
행정법이론실무학회
분류:
법학

AI 법률 상담

이 논문의 주제에 대해 더 알고 싶으신가요?

460만+ 법률 자료에서 관련 판례·법령·해석례를 찾아 답변합니다

AI 상담 시작
공적 영역의 자동화와 인공지능, 그리고 알고리즘적 차별 | 행정법연구 2025 | AskLaw | 애스크로 AI