Zeno.app – 16GB Mac에서 35B 로컬 AI를 돌리는 흥미로운 실험, 그러나 아직은 실험에 가깝다
최근 Icosa Computing이 공개한 Zeno라는 macOS용 로컬 AI를 설치해 보았다. 회사 설명에 따르면 전체 MoE expert를 메모리에 올리지 않고, 사용되지 않는 expert weight는 SSD에 두었다가 필요한 expert만 RAM으로 읽어들이는 방식을 적용하여 inactive expert를 SSD에 보관하고 필요한 expert만 RAM으로 불러온다고 설명하고 있다. 뭐… 설명이 어떻든, 결국 내가 하고자 하는 일인문구조학에는 쓸수가 없다. 대략 2페이지 정도는 출력하는 것 같지만 내용에는 군데 군데 엉터리가 보이다가 몇 페이지 더 지나면 정신을 잃고 혼절하듯 헛소리만 계속 내놓는다. 비싼 M4 장비에서도 이런 정도도 할 수 없다는 게 정말 빡치는 일이다.
더 흥미로운 것은 LMShop이다
LMShop은 현재 IBM Granite 4B, Google Gemma 12B, Qwen 3.6 35B 등을 기반으로 사용자가 올린 문서에서 training set을 만들고 LoRA tuning을 한 뒤 결과 모델을 GGUF로 다운로드하게 한다. 그리고 이 모델을 다시 Zeno에서 로컬로 사용하는 그림을 그리고 있다. Zeno/LMShop 이 오픈소스가 된다면 로컬 AI를 구동하는 방법에 획기적인 방향전환이 일어날 수 있겠다.
매 턴마다 영어/한국어를 macOS TTS로 출력하게 했다
앞서와는 다른 목적으로, 로컬에서 음성으로 말하고 음성으로 듣기 위해 speak-mcp를 조금 뜯어고쳐 각 언어마다 다른 Voice를 쓰게 했는데, AGENTS.md 규정을 따를 때가 있는가 하면, 개무시하고 기본적으로 박혀있는 system prompt를 따라가곤 했다. Qwen 35B 모델의 멍청함이란;;; 휴…
인수가 2개인 MCP 도구에서 locale을 판단해서 호출해야 하는 것 조차 매번 명시적으로 지정해야만 제대로 읽는다. 출력해야할 내용의 로케일을 선택하도록 Tool Description에 박아뒀어도 그러네;; 설령 읽는다해도 한국어 Voice로는 영어 단어나 문장 표현을 병맛스럽게 읽기 때문에 이걸 써먹기는 정말… 애매…하다.
Voice가 영어인 경우, 화자 선택지는 좀 있으나 다른 언어가 섞이면 영락없이 해당 부분은 무음이 된다. Zeno.app 소개글에는 앱을 사용할수록 Qwen 모델의 Weight를 변화시킨다는데… 글쎄; 그걸 확인할 방법도 UI도 없다. 가지고 노는 정도 외에, 제품으로서는 아직 추천할 정도는 아닌 것 같다. 그러나 32B 모델이 이렇게 돌아간다는 건 고무적인 일임에는 틀림없다. 누군가에겐 쓸만할지도.
Whispree.app 또는 Handy.app 앱을 사용해서 음성을 Text로 (STT) 입력하고, Text와 함께 speak-mcp로 출력하게 하면 대충 소리로 대화하는 느낌은 알수있다. 내 목소리를 그대로 분석하는게 아니기 때문에 본격적인 외국어 학습용도로 사용하긴 아쉽다. 그래도 웹 문서를 검색해서 읽어달라고 하는 것 같은 간단한 일은 그럭저럭 가능하다. 음성 출력은 굳이 Qwen 35B를 사용할 것도 없이 LMStudio + gemma-4-e4b 에서도 가능하다. 다만, gemma-4-e4b jinja template을 수정해야 한다.