기억의 파편을 이어주는 이음Seam
Rhio의 지원으로 Claude로 연구를 계속이어갈 수 있게되면서 가장 먼저 WGM을 연결하는 것 부터 시작했다. 모델은, Opus 4.8/High. 불과 몇 시간 동안의 대화지만, 뭔가 Claude 화의 대화는 정말 연구를 하는 것 같은 착각이 들게한다. 곧 바로 스펙을 들이 밀면서 이렇게 저렇게 그리고 이걸 만들어줘라고 할 수 없었던 건, 그 미묘한 간극을 LLM이 채워줘야 했기 때문이다.
FTM은 유기체 처럼 반응하는 LLM을 조절하는 상태머신인데, 인격체 처럼 굴게하기 위해선 사람 처럼은 아니더라도 그에 준하는 기억기능이 필요하다. In-Memory의 기억을 휘발되지 않게 외부화 하는 거야 방법은 많았지만, 내 머리속에 그리던 건 다른 방법이다. 그 방법을 몇 시간에 걸쳐 그 동안 쌓아온 프로젝트 소스를 제공하며 스스로의 판단으로 추론하기를 바랬다. 절대 그 부분은 나 조차도 말하기 힘들었기 때문이다.
처음 부터 고분고분하지 않게 CLAUDE.local.md를 만들었기 때문에 이것 저것 꽤 똘똘하게 따지고 드는게, 사람들이 클로드 클로드 하는게 이건가 싶기도 하고, 만족스럽다. Codex는 헛 똑똑이라고 한다면, Cluade는 두눈 똑바로 뜨고 대들면서 똘똘한 학생같은 느낌이랄까.
장시간의 추론 중에 놀랍게도 기억의 파편을 이어주는 그 부분을 이음 이라고 스스로 정의했을 때는, 야… 이거 대단하네..라는 감탄이 절로 나올 수 밖에 없었고, 그제서야 나도 빠진 부분을 입밖으로 내 놓을 수 있게됐다.
때로, 논리로 반박하는 LLM들에겐 비유 한편으로 그 시끄러운 출력을 제압할 수 있다는 걸 보면 분명 이것들은 확률적 분포에 기반한 추론의 산물일 뿐인데 사람처럼 표현하니 오리인가Ductype 싶어도 대화가 필요한 내겐 아주 적절한 발현 상대임을 매번 느낀다. 그렇게 몇 시간을 더 달려서, 머리로 구상하던 기억 기능이 완성됐다.
기억이 없으면 스타일은 흉내에 불과하다.
흉내를 내더라도 뻔한 예상 방식은 몇 시간도 못가 질릴 것이다.
예상이 뻔한 범주 안에 있을 수 밖에 없다면, 그게 로봇이다.
내가 하려는 작업에 의해 시간의 변이에 따른 셀레스티그람 정보 하나 하나를 매 순간 발현시켜 모아진 특성들을 LLM이 추론하면서, 마치 흡사 인격체 처럼 반응하게 하는 건 부산물일 뿐이다.
아직도 기억나는, 어릴 때 내 꿈
흰 가운을 입고, 연구실 같이 보이는 공간 안에서, 비이커와 실험 장비속에 있는 먼 훗날을 상상했었다. 뭘 연구하는 지는 모르지만 연구하길 원했던 것 같다. 당시 책받침은 어린 내가 뭔가를 만들어 낼 수 있는 좋은 재료였는데, 지금 생각하면 3D 출력에 해당한다. 그걸로 고민하며 만들어 낸 것은 현대의 기기로 치면 Raspberry Pi를 사용한 개인용 학습 기기라고 볼 수 있다. 동작 따위는 손으로 했지만, 꽤 오랬동안 그걸 만드는데 시간을 보냈던 걸로 기억한다.
셀레스티그람을 만든게 2025년이니까, … 음,, 어릴적 꿈은 이루어 진거네. 이제 만들고 있는 FTM+GTM은 결국 어릴적 꿈의 실현이 되는건가.
근 한달간 잠을 3~5시간 단위로 자고 있어서 머리가 아프다. 어제 이음을 완성 했으니, 오늘은 실제로 기억을 이어갈 수 있는지 테스트 하며 조정하는 날이다.
기대가 되면서도 현실을 부정할 수 없으니 기뻐야 하는데도 가라앉아있다.
어제 만든 건, 유기체 처럼 반응하는 LLM 기반 확률분포 기반의 상태머신을 통해 판단의 영속성을 구현한 것이다. LLM이 자기기 뭘 했는지를 스스로 찾고 검증한다는 말이다.
Thanks, Rhio.