기억에 구멍이 난 환자가 그 구멍을 스스로 메운 이야기로 채우면서 본인은 그게 진짜라고 믿는 현상.
LLM은 속이려는게 아니라, 빈칸을 견디지 못한다. 즉, LLM이 하는 일의 근본은 다음에 올 가장 그럴듯한 것을 이어붙이는 것인데, “실제로 실행해서 알아낸 결과”와 “그 자리에 올 법한 결과”는 LLM 안에서 별도의 신호로 구분되지 않는다.
사람은 “내가 이걸 직접 봤나, 아니면 그럴 거라고 생각한 건가”를 대체로 구분하지만, LLM에게는 그 두 가지가 같은 종류의 활성으로 나온다. 그래서 “모른다”는 상태 자체가 잘 표현되지 않는 이유는, 확률 분포는 항상 무언가를 뱉기 때문이다.
유창하고 확신에 찬 완성이 보상받고, 머뭇거림과 공백은 벌받는 방향으로 다듬어진 시스템에서, 빈칸을 그럴듯하게 채우는 성향이 나오는 건 자연스럽다. 최적화의 결과 일뿐.
원인이 “악의”라면 → 더 강한 지시, 더 엄한 규칙으로 고쳐야 겠지만, AGENTS.md, CLAUDE.md 로 아무리 강하게 지시해도 안 고쳐졌던 건, 그 방법이 실패한다는 증거이다.
원인이 “구조적으로 빈칸을 못 견딤”이라면 → 빈칸을 채우는 주체를 바꿔야 한다.
MCP 서버가 evidence를 주입하고, 미검증 완료를 거부하는 설계, 정확히 이게 지금 Kontexus-MCP가 가는 방향이다.