메타프레임 기반 사용자 반응 분석을 통한 Deepfake 탐지: 담론으로서의 판별과 정보 신뢰 회복의 가능성
Detecting Deepfakes Through Meta-Frame Analysis of User Responses: Toward Detection-as-Discourse and the Restoration of Digital Trust
김원식; 홍아름(경희대학교); 강송희(한국공학대학교 테크노경영대학원)
16권 5호, 29~52쪽
초록
본 연구는 인공지능 기술로 생성된 Deepfake 영상과 실제 영상에 대한 사용자 반응을 분석함으로써, Deepfake 탐지를 단순한 기술적 검출이 아닌 사회적 담론 형성과 정보 신뢰 회복의 과정으로 재개념화하고자 한다. 이를 위해 Entman의 프레이밍 이론(Framing Theory)을 확장하여, 신뢰성, 현실감, 기술 판단, 상호작용의 네 가지 메타프레임(meta-frame)을 도출하고, 이를 기반으로 사용자 댓글 데이터를 분류하고 분석하였다. 연구 데이터는 YouTube에서 수집한 Deepfake 영상 10건과 실제 영상 10건의 댓글로 구성되며, 감성 분석(VADER), 워드 임베딩(Word2Vec, FastText), 심층 학습 모델(LSTM, BiLSTM)을 통해 정량적·의미적 특성을 도출하였다. 메타프레임을 기준으로 생성한 정답 데이터셋을 바탕으로 Few-Shot Learning 모델을 학습하였고, Zero-Shot Learning 모델(BART-MNLI)과 비교하여 성능을 평가하였다. 분석 결과, Deepfake 영상은 실제 영상에 비해 부정적인 감정과 낮은 신뢰 반응을 유발하는 경향이 있으며, 메타프레임 기반 라벨링은 탐지 정확도 향상에 효과적인 것으로 나타났다. 본 연구는 Deepfake 탐지를 담론적 탐지(detection-as-discourse)의 관점에서 재구성함으로써, 정보의 진위 판단을 기술적 문제가 아닌 디지털 신뢰성과 리터러시의 회복이라는 사회적 과제로 제시한다. 이를 통해 알고리즘 기반 미디어 환경에서의 정보 신뢰성 강화 전략 수립에 기초 자료를 제공하고자 한다.
Abstract
This study explores a novel approach to Deepfake detection by analyzing user responses and reframing detection as a socio-discursive process rather than a purely technical task. Drawing on Entman’s Framing Theory, the study introduces a meta-frame taxonomy consisting of four key dimensions—trustworthiness, realism, technical judgment, and user interaction—and applies this framework to classify and interpret user comments on both Deepfake and authentic videos. Using data from 10 Deepfake and 10 real YouTube videos, we conducted sentiment analysis (VADER), semantic modeling with Word2Vec and FastText embeddings, and deep learning–based classification using LSTM and BiLSTM. A labeled dataset based on the meta-frames was constructed and used to train a Few-Shot Learning model, which was compared with a Zero-Shot Learning approach using BART-MNLI. The results reveal significant affective and trust-based differences in user responses, with Deepfake videos eliciting more negative sentiment and lower perceived credibility. The meta-frame–based labeling framework enhanced model performance and interpretability. By conceptualizing detection as discourse, this study positions Deepfake detection as part of a broader strategy to reinforce digital trust and media literacy in algorithmically mediated environments. The findings contribute to both theoretical discourse and practical strategies for combating visual misinformation.
- 발행기관:
- KNU 기업경영연구소
- 분류:
- 경영학일반