목록rag (1)
치킨치의 세상 톺아보기
LLM 에이전트를 만들다 보면 한 번쯤 기억 을 흉내내는 단계에 도달한다. 그리고 거의 항상 같은 실수를 한 번씩 한다.컨텍스트 윈도우를 기억 시스템으로 쓰는 것.토큰 한도가 100k → 200k → 1M 으로 늘어나는 동안, "이제 컨텍스트가 충분히 크니 기억은 그냥 다 쌓아 두면 되겠지" 라는 유혹이 강해진다. 실제로 잠깐은 그럴듯하게 굴러간다. 그 단계에서 멈추면 6 개월 뒤에 느린·비싼·산만한 에이전트가 남는다.이 글은 기억 을 컨텍스트 윈도우와 분리해서 설계해야 하는 이유와, 내가 정착시킨 4 층 구조를 정리한 노트다.1. 컨텍스트 윈도우는 레지스터 에 가깝다CPU 비유로 정리하면 직관이 분명해진다.레지스터 — 이번 명령 직접 처리. 빠르지만 작고 휘발성.L1/L2 캐시 — 최근 자주 쓴 것. ..
카테고리 없음
2026. 5. 13. 01:00