M-RAG: 메타데이터를 이용한 RAG 방법의 성능향상
M-RAG: Enhancing Open-domain Question Answering with Metadata Retrieval-Augmented Generation
강석훈(인천대학교); 김성진(TecAce Software Ltd.)
27권 12호, 1489~1500쪽
초록
본 논문에서는 하나 이상의 문서에 대해 open-domain Question Answering (ODQA) 시스템에서 효과적인 검색 포함 질의 응답을 할 수 있는 Metadata Retrieval-Augmented Generation(M-RAG) 방법을 제안하고 그 성능을 비교한다. 이를 위하여 메타데이터가 포함된 임베딩을 활용하고, 자동화된 응답을 생성하기 위해 gpt-3.5-turbo-16k와 gpt-4와 같은 생성 모델을 활용한다. 본 논문의 방식을 통하여 생성 모델(gpt-3.5, gpt-4)이 문서의 순서와 맥락을 메타데이터를 통해 파악하여 답변 할 수 있게 된다. 그리고 문서의 출처, 원문 요구를 추가하는 프롬프트 엔지니어링을 통해질의응답(QA)의 출처 표기 기능을 활성화시킬 수 있어서 답변의 정확성을 증대할 수 있다. 실험결과, 본 논문의 방법은 같은 외부 추론 ODQA 시스템과 비교하여 최대 46%의 성능 향상을 보였고, 기존의 RAG 방식보다도 6% 향상된성능을 보였다.
Abstract
This paper proposes a method called Metadata Retrieval-Augmented Generation (M-RAG) for effective search inopen-domain Question Answering (ODQA) systems for one or more documents and compares its performance. To achievethis, it utilizes embeddings that include metadata and employs generative models such as gpt-3.5-turbo-16k and gpt-4 forautomated answer generation. Through this approach, the generative models (gpt-3.5, gpt-4) are able to understand theorder and context of query documents through metadata. Additionally, by incorporating source information and originaltext requirements through prompt engineering, it activates source attribution capabilities in question-answering (QA),thereby enhancing answer accuracy. As a result of this paper, information that LLM does not have can be retrieved fromexternal sources and an appropriate response can be found.. Experimental results show that this method exhibited up toa 46% performance improvement compared to the same external inference ODQA system and a 6% improvement over theexisting RAG method..
- 발행기관:
- 한국정보통신학회
- 분류:
- 전자/정보통신공학