환각 (Hallucination)
별칭: hallucination · 거짓말 · LLM 환각
LLM 이 사실과 다른 내용을 그럴듯하게 지어내는 현상.
구조상 "다음 토큰을 확률로 고르기" 때문에 모르는 영역에서도 자신 있게 답한다. RAG/근거 인용/검증 워크플로우로 줄일 수 있다.
환각(Hallucination)은 LLM이 사실과 다른 내용을 마치 맞는 것처럼 자신 있게 출력하는 현상이다.
완벽히 없앨 수는 없지만 (1) 검색 증강(RAG), (2) 근거/인용 강제, (3) 검증 단계 추가로 빈도를 크게 줄일 수 있다.
더 자세히 (Wikipedia 보충)
AI 환각은 모델이 거짓이거나 오도하는 정보를 사실처럼 자신 있게 제시하는 현상이다. LLM이 "다음 토큰 확률"을 예측하도록 학습되기 때문에, 정보가 부족할 때도 빈칸을 메우듯 그럴듯한 답을 만들어 낸다.
대표 사례로는 ChatGPT가 존재하지 않는 판례를 인용하거나, 가상의 학술 논문을 만들어 낸 사례, Deloitte 보고서에 가짜 인용·판례가 포함된 사건 등이 있다. 완화 기법으로는 RAG(검색 기반 생성), 외부 검증, 도메인 데이터 fine-tuning, NVIDIA Guardrails 같은 검증 도구가 사용된다.