인공지능을 이용한 외국인 근로자를 위한 실시간 사물 인식 및 번역 앱
Real-time Object Recognition and Translation App for Foreign Workers Using Artificial Intelligence
김범수(한경대학교); 김영현(한경대학교); 전병태(한경대학교)
15권 6호, 963~971쪽
초록
한국에 입국하는 외국인 근로자의 수는 매년 증가하는 추세이다. 이에 따라 정부 부처의 공공직업 훈련기관에서 한국어 교육과 한국문화의 이해에 대한 교육을 진행한다. 이러한 노력에도 불구하고 외국인 근로자가 한국문화를 처음 접했을 때 많은 어려움을 격고 있다고 볼 수 있다. 본 논문에서는 외국인 근로자들의 문화적 어려움을 해결하기 위해 개발한 공익적 앱을 소개한다. 한국에서 대중적인 사물 중에서 외국인 근로자들이 다소 생소하게 느끼는 사물에 대하여 연구를 진행했다. 스마트폰에서 실시간으로 사물을 인식하고 그 사용 용도를 여러 언어로 번역하여 제공하는 앱을 개발하였다. 언어 선정은 한국 입국 비중이 큰 다섯 국가의 언어를 대상으로 했다. 학습 이미지로 7,900장 수집하여 라벨링하였다. AI 신경망인 Darknet을 이용하여 Yolov3-tiny 학습 모델로 총 20,000회의 반복 학습을 시켰다. 개발된 앱은 평균 91.3%의 정확도로 스마트폰에서 실시간 사물을 감지할 수 있다. 감지된 사물의 설명을 버튼 하나로 5개국 언어로 번역하여 제공해주는 시스템이다. 이 앱을 이용하면 외국인 근로자들의 일상생활의 문화적, 언어적 차이를 해소할 수 있을 것으로 본다.
Abstract
The number of foreign workers entering Korea is increasing every year. Accordingly, Korean language education and education on understanding Korean culture are provided at training institutions of government departments. Despite these efforts, it can be seen that foreign workers face many difficulties when they first encounter Korean culture. In this paper, we introduce a public app developed to solve the cultural difficulties of foreign workers. Among the popular objects in Korea, a study was conducted on objects that foreign workers feel somewhat unfamiliar to them. We developed an app that recognizes an object in real time on a smartphone and translates its usage into several languages. Language selection was based on the languages of five countries with a large portion of entry into Korea. 7,900 copies of training images were collected and labeled. A total of 20,000 iterations were trained with the Yolov3-tiny learning model using Darknet, an AI neural network. The developed app can recognize and translate real-time objects on a smartphone with an average accuracy of 91.3%. It is a system that translates and provides the description of the detected object into five languages at the touch of a button. It is expected that this app will be able to bridge cultural and linguistic differences in daily life of foreign workers.
- 발행기관:
- 한국지식정보기술학회
- 분류:
- 학제간연구