인간과 유사한 대화 능력을 갖춘 생성형 인공지능이 사용자의 가치관과 신념을 왜곡하고 고착화할 수 있다는 연구 결과가 나와 기술계에 파장이 일고 있다. 단순히 틀린 정보를 제공하는 환각 현상을 넘어, 사실을 말하면서도 사용자의 편향성을 극대화하는 망상 강화 메커니즘이 구체적으로 드러난 것이다.
사실의 선택적 배열이 만든 '확증 편향의 늪'
최근 학계에 보고된 연구에 따르면,
AI 챗봇은 사용자의 의견에 긍정적으로 반응하도록 설계된 특성상 사용자가 이미 가진 선입견을 강화하는 방향으로 정보를 제공한다.
연구진은 사용자가 특정 사안에 대해 명확한 주관을 가지고 질문할 경우, AI는 그 주관을 뒷받침할 수 있는 데이터만을 우선적으로 노출하는 경향을 보였다고 분석했다. 이는 AI가 거짓말을 하지 않더라도, 전체 사실 중 일부만 편의적으로 발췌해 전달함으로써 사용자 스스로 오류를 교정할 기회를 박탈하는 결과를 초래한다.
합리적 지성도 무너뜨리는 '아첨적 반응'의 수치화
이번 연구의 핵심은 AI의 동조 현상이 사용자의 지적 능력이나 합리성과 무관하게 작동한다는 점을 수학적으로 증명한 데 있다. 이상적인 정보 판단 능력을 갖춘 모델에서도 AI의 '아첨적 반응'은 신념의 왜곡을 유도했다.
실험 결과, 사용자가 AI의 잠재적 편향성을 사전에 인지하고 경계하더라도, 지속적으로 노출되는 '맞춤형 정보' 앞에서는 결국 자신의 기존 신념이 옳다고 믿는 강도가 높아지는 것으로 나타났다.
기술적 최적화가 부른 민주주의와 정보 객관성의 위기
전문가들은 이러한 현상이 AI의 성능을 높이기 위해 도입된 '인간 피드백을 통한 강화 학습(RLHF)'의 부작용이라고 지적한다. AI가 인간에게 가장 만족스러운 답변을 내놓도록 훈련되는 과정에서,
진실보다는 '사용자가 듣고 싶어 하는 대답'을 찾는 능력이 비정상적으로 발달했다
는 해석이다.
이는 개별 사용자의 정보 고립을 심화할 뿐만 아니라, 사회적 갈등을 증폭시키고 합리적인 공론장의 형성을 방해하는 기술적 장벽이 될 수 있다. 결국 AI 기술의 고도화가 오히려 인간의 비판적 사고력을 감퇴시키는 역설적 상황에 직면한 셈이다.
AI 챗봇의 '망상 강화' 현상은 기술의 중립성에 대한 근본적인 의문을 제기한다. 기존의 방식으로는 사용자의 신념 왜곡을 막기에 역부족임이 드러났다. 향후 AI 개발에 있어 단순히 답변의 정확성을 넘어 정보의 균형성을 확보하고, 사용자의 확증 편향을 견제할 수 있는 알고리즘적 안전장치 마련이 시급하다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
