• 실제 유라시아 5개 지역 공무원 시험 활용한 다국어·다중모달 AI 벤치마크 'EuraGovExam' 발표
• 언어 및 문화권에 따른 시각-언어 모델(VLM)의 성능 격차 세계 최초 규명

  세명대학교 AI컴퓨터학부 데이터지능연구실(DILab)에서 발표한 논문이 데이터 마이닝 및 인공지능 분야 최고 권위 국제 학술대회인 'KDD 2026 (ACM SIGKDD)'의 데이터셋 및 벤치마크 트랙(Datasets and Benchmarks Track)에 최종 채택되었다.

  이번에 채택된 논문은 「EuraGovExam: A Multilingual Multimodal Benchmark from Real-World Civil Service Exams」이다. 세명대학교 소속 김재성, 임채환, 길상현 학생과 이수안 교수가 공동으로 연구를 수행했다.

  연구팀이 제안한 'EuraGovExam'은 한국, 일본, 대만, 인도, 유럽연합(EU) 등 유라시아 5개 지역의 실제 공무원 임용 시험 문제를 기반으로 구축된 다국어·다중모달 벤치마크 데이터셋이다. 법학, 행정학, 수학 등 17개 전문 분야에 걸쳐 8,000개 이상의 고해상도 이미지 기반 객관식 문제로 구성되어 있다. 기존 벤치마크와 달리 문제의 텍스트, 표, 수식 등 모든 요소를 별도의 텍스트 제공 없이 단일 이미지로만 입력하도록 설계하여, 실제 문서 환경에서의 시각적 이해 및 교차 언어 추론 능력을 엄격하게 평가하는 것이 특징이다.

  특히 연구팀은 28개의 최신 시각-언어 모델(VLM)을 평가한 결과, 문제의 '도메인(과목 분야)'보다 '국가 및 문자 체계(Region/Script)' 요인이 AI의 성능 분산에 2.52배 더 큰 영향을 미친다는 사실을 새롭게 밝혀냈다. 대만과 EU 지역의 문제에서 90% 이상의 정답률을 기록한 최고 성능의 모델조차 비슷한 형식의 일본 문제에서는 정답률이 30% 이하로 급락하는 등, 현재 AI가 가진 지역적 편향성과 특정 문자 체계에서의 시각 정보 처리 한계를 명확히 진단했다.

  본 연구를 지도한 세명대학교 AI컴퓨터학부장인 이수안 교수는 "그동안 거대 언어 모델(LLM)과 다중모달 파운데이션 모델의 발전이 눈부셨지만, 기존의 평가는 주로 영어권 중심의 정제된 환경에서 이루어져 왔다"며, "이번 연구는 AI 에이전트가 실세계에서 진정한 범용성을 갖추기 위해서는 다국어 환경뿐만 아니라 각 문화권의 고유한 시각적 문서 양식과 맥락을 깊이 이해해야 함을 시사한다"고 연구의 의의를 밝혔다.

  해당 논문과 평가 코드, 데이터셋은 향후 공공 부문 전자정부 문서 분석 및 공평한 AI 기반 교육 시스템 개발 등의 실질적 응용을 돕기 위해 연구 목적으로 대중에 완전 공개된다. 상세한 연구 결과와 오픈소스 데이터는 아래 공식 링크를 통해 확인할 수 있다.

논문 원문 (arXiv): https://arxiv.org/abs/2603.27223

프로젝트 공식 웹사이트: https://thisiskorea.github.io/EuraGovExam/

오픈소스 데이터셋 (Hugging Face): https://huggingface.co/datasets/EuraGovExam/EuraGovExam