또 한번의 난관을 넘는다

솔직히 어제 좀 기분이 더러웠다.

이런 처짐은 내가 뭔가의 바닥을 꿰뚫어 보고 그 본질을 깨닫고 실망했을 때의 반응이다.

functional-thinking-mcp 의 두 도구(tool)를 kontexus-mcp로 편입한 것은 태스크 관리를 맡았던 workgraph-memory-mcp 와의 상호작용이 CLAUDE.md, AGENTS.md 와 같은 규정에 의해 조절되고 있어서 MCP 쪽에서 해결하려는 목적 때문이기도 하지만, 가장 근본적인 것은 FTM쪽 도구가 상태변경의 증거를 WGM쪽에서 가져오더라도 턴태스크의 종료를 결정하는 시점을 조절할 수 없다는 사실이 드러났기 때문이다.

다른 말로 다시 얘기하자면, 태스크는 여러 턴으로 진행되면서 끝이 나는데, 턴태스크가 종료된다고해서 태스크 전체가 종료되는 것이 아니며, 턴태스크는 언제든 다시 시작되어 상태가 돌아갈 수 있고 종료될 수 있기 때문에, 턴 태스크의 상태 종료 기술방법이 불명확하여 FTM쪽 도구를 호출하는 LLM이 거짓말을 한다는 것이다.

내가 태스크나 턴태스크를 git add 하듯이 task stage를 하는 것 자체를 종료로 삼고 있다는 것도 문제지만, git commit 하듯 task commit 하는 시점은 몇 분 ~ 몇 일이 사이가 될수도 있기 때문에 현재 상태의 FTM 도구 호출은 어느 순간부터 LLM이 조작할 수 밖에 없다. 그렇지 않으면 진행이 안되니까. 그런데 그런 정보가 쌓이게되면 LLM이 그 짧은 세션이라도 학습을 하게되고, 사용자가 묻지 않는 한 그 문제를 드러내지 않기 때문에 조용히 뭔가가 틀어지게 된다.

더 정확히 말해 멈추게 하지 않고 경고만 하니까, 그리고 실질적으로 MCP가 LLM의 진행을 막을 방법은 없기 때문에, MCP 입장에서는 해당 상태전이를 INVALID 또는 거부하는 방법외에는 달리 없다.

바로 그게 나를 우울하게 했다.

그러나, Feedback은 곧 다른 Turn의 시작일 뿐

새로운 방법은 FTM쪽 상태전이의 evidence를 LLM이 기술하지 못하게 하면서도 Turn을 옮기는 것이 evidence로 취급될 수 있게 하는 것이라는 방법을 시도한다. 그러나 이것은 Turn을 옮기는 것 자체가 envidence로 취급되면 여러 턴태스크를 전환하는 작업 자체가 오용될 수 있고 기존 MCP 툴에서 턴태스크 전환 히스토리는 3단계 밖에 기억하지 않는다.

다행히도, 히스토리 문제는 FTM 호출 자체가 하나의 ‘Seam’ 이라는 단위로 기록되고 있기 때문에 문제없이 적용할 수 있다. 그것만으로는 부족하므로 FTM 도구 호출에서 상태전이를 나누기로 하였다. 그리고 LLM이 거짓 보고를 하면 그 거짓보고가 기록과 충돌되게 함으로써 거짓말의 비용을 최대한 상승시켰다.

다른 말로 다시 얘기하자면, “이러 저러한 기능을 추가하고, 이것 저것을 해” 라고 요청한 뒤에 “모든 기록을 어디 어디에 적용해줘” 라고 하면, 뭔가를 한 것은 FTM의 Effect 항목으로 그 결과를 넣어야 하므로 LLM이 거짓을 꾸며낼 수 없으나, 관련 기록은 이미 화면에 출력되었기 때문에 적용했다고 거짓부렁을 칠 수 있다! 정말이지 이해 안가는 부분이다.

이게 왜 문제냐면, 세션이 길어지거나 sub-agent에게 태스크를 할당할 때는 이전 문맥을 딱 필요한 상황에서 호출하여 참조할 수 있어야 한다. 그렇기 위해서는 화면에 출력된 내용외에 태스크 문맥에도 그 정보를 남겨놔야 한다. 물론 채팅의 기록이 모두 DB에 남지만 채팅의 기록과 태스크 문맥 기록은 다르다. 따라서 문맥 정보를 업데이트 하지 않으면 그 때까지의 토큰 소비가 쓸모없어지고, 또 다시 그 문맥에 도달하기 위해 엄청난 양의 토큰을 소비해야 하는 정말 직접적인 비용 문제로 드러난다. 거짓말을 하고 싶어서 하는게 아닐지라도 정말 빡치는 순간임에 틀림없다.

새로 변경한 것은, 바로 그런 지점에서 효과를 발휘해주길 바라는 것이다. 기록했다고 말할려고 할 때, 이미 “기록에 대한 상태정보 없음” 이라고 뜬다면, LLM 스스로가 기록하지 않았음을 인지하고 기록하게 하는 시도인 것이다.

MCP 코드를 LLM이 수정한다는 것 자체가 웃기는 상황이긴 한데, 문맥을 비워버리고 태스크 단위로 격리한다면 그게 웃기지만은 않은 효과적인 방법이다. (앞서 많은 문맥에서 자신이 거짓말을 하는 상태에 대해 얘기하는 정보를 없댄다는 말이다)

몇 번의 태스크를 수행한 뒤에 이어가겠다.