언어 모델 환각 원인과 평가 방법 개선

최근 OpenAI의 연구에 따르면, 대형 언어 모델(LLMs)은 종종 믿을 만하지만 잘못된 정보를 생성하는 “환각” 현상을 겪고 있으며, 이는 통계적 특성과 평가 기준이 잘못 설정된 데에서 비롯된다고 한다. 연구팀은 이러한 환각이 발생하는 이유와 이를 해결하기 위한 방법에 대해 논의하고 있다. 본 글에서는 언어 모델 환각의 원인을 심층적으로 분석하고, 평가 방법 개선을 통해 이러한 문제를 해결하는 방향성을 제시할 것이다.

언어 모델 환각의 통계적 원인

LMs(대형 언어 모델)의 환각 현상은 주로 기계 학습의 불가피한 오류로 인해 발생한다. 연구팀은 이를 'Is-It-Valid (IIV)'라는 이진 분류 과제로 축소하여 설명한다. 모델의 출력이 유효한지 잘못된지를 판단하는 이 작업에서, LLM의 생성 오류율은 최소한 그 IIV 오분류율의 두 배에 달한다고 한다. 이는 즉, LLM의 환각이 감독 학습(supervised learning)에서 발견되는 오분류와 같은 근본적인 원인에서 비롯된다는 것을 의미한다. 구체적으로, 환각이 발생하는 주된 이유는 에피스템적 불확실성(epistemic uncertainty), 잘못된 모델, 분포의 변화, 또는 노이즈가 섞인 데이터가 있다. 이러한 통계적 압력은 훈련 데이터가 깨끗하더라도 유효한 출력을 보장하지 않으며, 잘못된 정보가 생성될 확률을 높인다. 특히 데이터 내에서 특정 정보가 한 번만 등장하는 경우에는 그 정보가 환각으로 발생할 가능성이 크다. 따라서, LLM은 자주 반복되는 사실에 대해서는 재현성을 보일 수 있지만, 옥핵이나 드물게 언급되는 사실에 대해서는 신뢰할 수 없는 응답을 생성하는 경우가 많다.

평가 기준의 개선으로 환각 감소하기

환각 문제를 해결하기 위해서는 평가 기준을 개선하는 것이 필요하다. 현재 사용되고 있는 많은 벤치마크는 이진 평가 방식에 기반하고 있으며, 정답에 대해서는 점수를 주고, 잘 모르겠다는 응답이나 잘못된 응답에 대해서는 점수가 부여되지 않는다. 이와 같은 정량적 평가 방식은 LLM에게 최대한 많은 추측을 하도록 유도하며, 환각을 더욱 부추길 수 있다. 따라서 연구팀은 보다 정교한 평가 지표를 제안한다. 예를 들어, “자신의 신뢰도가 75% 이상일 경우에만 답변하라. 실수는 2점을 잃고, 올바른 답변은 1점을 획득하며, '모르겠다'고 답변할 경우는 0점을 얻는다”는 식의 명확한 신뢰 목표를 설정하면, 모델이 잘 모르겠다고 느낄 경우에는 아예 답변을 하지 않는 방향으로 유도할 수 있을 것이다. 이러한 방식은 실험적 평가 방식에서 자주 발생하는 오버컨피던스 문제를 해결하고, 모델의 성능 개선과 더불어 신뢰성을 높일 수 있다.

환각 발생의 보다 깊은 원인 분석

환각이 발생하는 배경은 단순히 기계 학습의 자동화된 과정만이 아니다. 연구팀의 발견에 따르면, LLM의 고유한 구조와 훈련 방식이 결합되어 이러한 현상을 유발하게 된다. 예를 들어, n-그램 모델에서는 비문이 생성되거나, 토큰화 과정에서 문자의 수를 잘못 계산할 수 있는 등 고전적인 모델들이 가지고 있는 제약이 환각의 원인으로 작용할 수 있다. 이처럼, 데이터는 충분하다 할지라도 모델이 이를 표현하는 방식에서 한계가 발생하는 것이다. 이러한 구조적 한계를 인식하면 모델 개발자들은 더 나은 아키텍처를 디자인하려는 노력을 기울일 수 있다. 또한, 평가 기준을 변경함으로써 모델의 발전 방향을 재조정하고, 이러한 환각 현상에 대한 보다 체계적인 접근이 가능해진다. 최종적으로 연구팀의 연구는 LLM의 환각 현상을 단순한 오류로 보지 않고, 훈련 목표와 평가 방식의 비일치를 통해 예측 가능한 결과로 재구성한다.

종합적으로, LLM의 환각 현상은 그 근본적인 통계적 원인과 평가 기준의 비효율성에서 오는 것으로 확인되었다. 이러한 연구 결과는 환각을 새로운 시각으로 바라보게 해주며, 평가 시스템이 모델의 신뢰성을 높이는 방향으로 개선될 필요가 있음을 강조한다. 향후, 연구자들은 더욱 정교한 평가 지표를 개발하여 LLM의 환각 현상을 최소화하는 방안을 모색해야 할 것이다. 더 나아가, 이러한 논의는 기술 혁신뿐만 아니라 사회적 요구도 반영하여 언어 모델의 진화 가능성을 촉진할 것이다.