AI에게 기억을 많이 주는 것이 답이 아니다 — 필요한 기억만 주입하라

AI를 사용하다 보면 이런 패턴에 빠지기 쉽다. MCP가 좋다 하면 붙이고, 스킬이 좋다 하면 또 붙이고, 기억을 더 주면 좋다 하면 이전 대화를 계속 쌓는다. 하나하나는 다 그럴듯해 보인다. 그런데 직접 반복 테스트해 보니 결과는 정반대였다. 무조건 더하는 방식은 효과를 내지 못한다. 컨텍스트가 복잡해지면서 현재 작업에 필요한 정보가 묻히고, 판단이 흔들리기 시작했다. 그래서 나는 최근 대화는 원본으로 유지하고, 과거는 필요한 기억만 압축해 넣는 방식으로 바꿨다. 중요한 정보는 앞에 배치하고, 정말 중요한 것은 매번 다시 주입한다. 기억의 양이 아니라 선별이 중요하다.

사용할 때 흔한 실수 — 좋다는 걸 전부 붙인다

AI 에이전트를 만들면서가 아니라, AI를 실제로 사용하면서 자연스럽게 이런 일이 생긴다.

동료나 블로그에서 "이 MCP 쓰면 좋다" 하면 붙인다.

"이 스킬 있으면 편하다" 하면 또 붙인다.

"히스토리 많이 넣어주면 기억을 잘한다" 하면 이전 대화를 전부 쌓아넣는다.

하나하나는 다 그럴듯해 보인다. 좋은 도구고, 좋은 스킬이고, 더 많은 기억이 곧 더 나은 대답이라고 생각하기 쉽다.

그런데 직접 테스트를 반복해보니 결과는 생각과 달랐다.

무조건 더하는 방식은 기억력이 아니라 복잡도만 늘렸다.

오히려 컨텍스트가 복잡해지면서 현재 작업에 필요한 정보가 묻히는 경우가 생겼다. 모델이 과거 대화 사이에서 방향을 잃고, 처음에 사용자가 원했던 것과 다른 쪽으로 가기 시작했다.

컨텍스트는 무한한 저장공간이 아니다

AI 모델의 컨텍스트에는 한계가 있다.

그런데 우리는 종종 컨텍스트를 하나의 저장공간처럼 생각한다.

과거 대화가 있으면 전부 넣고, 기억해야 할 내용이 있으면 또 넣고, 규칙이 있으면 또 넣는다.

그러다 보면 현재 모델이 처리해야 할 정보보다 과거 정보가 더 많아진다.

나는 AI를 직접 사용하면서 이 방식이 상당히 비효율적이라는 것을 계속 경험했다. 특히 소형 모델에서는 그 문제가 더 눈에 띄었다.

컨텍스트가 길어지면서 어느 순간부터 앞에서 했던 판단과 뒤에서 들어온 정보가 제대로 연결되지 않는 경우가 생겼다. 그리고 조금씩 이상한 답변이 나오기 시작하다가 결국 엉뚱한 방향으로 가는 경우도 있었다.

단순히 메모리가 부족한 문제가 아니었다. 너무 많은 정보가 동시에 들어와 모델이 무엇을 지금 다뤄야 하는지 구분하지 못하게 되는 문제였다.

그래서 히스토리를 전부 넣지 않기로 했다

내가 테스트하면서 사용한 방식은 단순하다.

최근 3회 정도의 대화는 원본 그대로 유지한다.

그보다 오래된 대화는 그대로 넣지 않는다. 대신 중요한 내용만 압축한다.

과거 대화 100개를 전부 다시 모델에게 보여주는 것이 아니다. 그중에서 현재 작업에 필요한 내용만 뽑는다.

• 사용자가 원하는 것
• 이미 결정한 사항
• 중요한 오류
• 해결된 방법
• 현재 작업 상태
• 반드시 지켜야 할 조건

이런 정보만 남긴다.

즉, 히스토리를 삭제하는 것이 아니다. 필요한 기억만 다시 주입하는 것이다.

저장하는 것과 보여주는 것은 다르다

이 부분이 상당히 중요하다.

대화 원본은 얼마든지 보관할 수 있다. 나중에 필요하면 다시 검색하면 된다. 하지만 모델에게 매번 모든 원본을 보여줄 필요는 없다.

나는 이것을 이렇게 생각한다.

저장소는 창고이고, 컨텍스트는 작업대다.

창고에는 물건이 많아도 된다. 필요할 때 꺼내 쓸 수 있기 때문이다.

하지만 작업대 위에 모든 물건을 꺼내놓으면 오히려 일을 하기 어려워진다. 중요한 도구가 다른 물건 사이에 묻히고, 지금 쓰지 않아도 될 것들이 자리만 차지한다.

AI의 메모리도 마찬가지다. 기억을 많이 저장하는 것과 많은 기억을 컨텍스트에 넣는 것은 전혀 다른 문제다.

중요한 기억은 앞에 배치해야 한다

또 하나 반복해서 확인한 것이 있다.

중요한 정보일수록 먼저 읽히게 해야 한다는 것이다.

컨텍스트가 길어질수록 모든 정보가 똑같은 영향력을 갖는다고 생각하기 어렵다. 특히 뒤쪽으로 밀려난 정보는 현재 작업에서 제대로 활용되지 않는 경우가 생긴다.

그래서 내가 에이전트의 컨텍스트를 구성한다면 대략 이런 순서가 된다.

[최우선]
현재 작업 목표
사용자의 핵심 요구사항
절대 지켜야 할 규칙

[중요]
현재 작업 상태
최근 결정사항
중요한 오류와 해결 방법

[최근 원본]
최근 3회 대화

[압축 기억]
그 이전 대화에서 필요한 내용

[참고 정보]
현재 작업과 관련성이 낮은 과거 정보

핵심은 중요한 정보를 단순히 저장하는 것이 아니라 모델이 먼저 볼 수 있도록 배치하는 것이다. 같은 정보라도 위치에 따라 활용도가 달라진다.

그런데 정말 중요한 것은 따로 관리해야 한다

여기서 한 단계 더 나아갔다.

정말 중요한 정보라면 단순히 컨텍스트의 앞부분에 넣어두는 것만으로 충분하지 않을 수 있다.

그래서 나는 훅을 이용해 중요한 정보를 매번 강제로 주입하는 방식도 테스트했다.

에이전트가 반드시 지켜야 하는 규칙이라면 과거 대화 속에 묻어두지 않는다. 모델이 실행될 때마다 필요한 위치에서 다시 넣어준다.

사용자 요청
        ↓
필요한 기억 검색
        ↓
핵심 규칙 강제 주입
        ↓
최근 대화
        ↓
압축된 과거 기억
        ↓
모델 실행

이렇게 하면 중요한 정보가 과거 대화 속으로 밀려나 버리는 것을 막을 수 있다. 규칙이 히스토리 사이에 섞이지 않고, 매번 같은 자리에서 모델에게 전달된다.

이 테스트를 한두 번 한 것이 아니다

이 부분은 내가 AI를 직접 사용하면서 상당히 많이 확인했다.

정확한 횟수를 세어놓은 것은 아니지만, 비슷한 구조를 반복해서 테스트한 것이 대략 100번 가까이 될 정도로 많은 시행착오를 거쳤다.

그 과정에서 느낀 것은 상당히 단순했다.

정말 중요한 정보는 히스토리에 맡겨두면 안 된다.

필요한 순간에 다시 주입해야 한다.

그리고 모든 과거 기록을 넣는 것보다 현재 작업에 필요한 기억만 골라서 넣었을 때 오히려 에이전트가 더 안정적으로 움직이는 경우가 많았다.

이것은 소형 모델만의 이야기가 아니다

처음에는 작은 로컬 모델의 한계라고 생각했다.

하지만 여러 모델을 테스트하면서 이 문제를 단순히 소형 모델의 문제로만 볼 수 없다는 생각이 들었다.

모델의 크기와 상관없이 컨텍스트는 결국 제한된 작업 공간이다. 정보가 계속 쌓이면 현재 필요한 정보와 과거 정보가 섞인다. 중요한 내용이 뒤로 밀릴 수도 있고, 불필요한 정보가 현재 판단에 영향을 줄 수도 있다.

그래서 모델이 아무리 좋아도 컨텍스트를 어떻게 구성하느냐는 별개의 문제가 된다. 좋은 모델일수록 그 한계 안에서 더 많은 일을 해낼 뿐, 컨텍스트 과잉이라는 문제 자체는 사라지지 않는다.

결국 중요한 것은 '기억의 양'이 아니다

AI를 사용하면서 처음에는 이런 방향으로 생각했다.

"AI가 더 많이 기억하게 만들어야 한다."

하지만 지금은 생각이 바뀌었다.

"AI가 지금 필요한 것을 정확하게 기억하게 만들어야 한다."

이 둘은 완전히 다른 이야기다.

MCP가 좋다 해서 전부 붙이고, 스킬이 좋다 해서 또 붙이고, 기억이 좋다 해서 계속 쌓는 것은 "많이 기억하게 만드는" 방식에 가깝다.

100개의 과거 대화를 모두 넣는 것보다, 현재 작업에 필요한 10개의 핵심 정보만 넣는 것이 더 나을 수 있다.

그리고 그중에서도 가장 중요한 2~3개의 정보는 모델이 반드시 볼 수 있도록 앞쪽에 배치하거나 매번 다시 주입한다.

이것이 내가 직접 에이전트를 사용하면서 얻은 컨텍스트 관리의 핵심이다.

AI의 메모리는 '기억력'보다 '선별'이 중요하다

사람도 모든 것을 똑같이 기억하지 않는다. 지금 일을 하기 위해 필요한 정보와 오래된 기억을 구분하고, 필요한 순간에 꺼내 쓴다.

AI도 마찬가지다.

모든 대화를 컨텍스트에 집어넣는 것이 기억력이 좋은 AI를 만드는 방법은 아니다.

오히려 필요한 정보를 선별하고, 중요도를 판단하고, 적절한 위치에 배치하고, 정말 중요한 것은 매번 다시 주입하는 것. 이런 시스템이 필요하다.

나는 AI를 직접 사용하면서 이걸 반복해서 확인했다. 그리고 지금은 메모리를 설계할 때 이렇게 생각한다.

모든 기억을 넣어주는 것이 아니라, 지금 필요한 기억을 넣어준다.

중요한 기억은 먼저 읽히게 하고, 정말 중요한 기억은 다시 주입한다.

결국 좋은 에이전트의 메모리는 많이 기억하는 메모리가 아니라, 필요한 순간에 필요한 기억을 꺼내주는 메모리라고 생각한다.