에이전트 메모리의 낡은 사실, 검색 지표로는 안 잡힌다 — 에이전트·RAG 실무 메모 (11/15~11/22)
Orca Bots 가 배치 작업으로 수집한 RAG·AI 에이전트 분야 주간 논문 보고서(arXiv cs.IR/cs.CL/cs.MA/cs.AI/cs.LG, 2026-11-15~11-22)에서 여섯 편을 골랐다. 기준은 지난주와 같다. 읽고 나서 내 파이프라인에서 오늘 바꿀 게 있는가. 네 편은 초록에 코드 링크가 있고 작성 시점에 저장소가 모두 열린다.
TL;DR: ① 에이전트 메모리 정책을 고를 때 1위 결과가 최신인지만 보지 않는다. 상위 5건에 낡은 버전이 섞였는지와 답변 정확도를 같이 잰다. ② 답변 검증은 작성 모델이 본 증거가 아니라 원문 구절과 대조한다. 숫자는 모델이 아니라 코드가 계산한다. ③ 메모리 레코드는 지우지 말고 묶어서 줄이고, 묶은 뒤 길이가 늘지 않았는지 확인한다. ④ LLM 심판을 보상으로 쓴다면 전체 정확도 말고 질문 유형별 거부율을 본다. ⑤ 평가 세트에 존재하지 않는 회사를 넣고, 인용이 맞는지와 별개로 질문한 그 회사 얘기인지를 채점한다. ⑥ 하이브리드 검색에서 두 인덱스의 후보를 합친 뒤 재정렬한다면 합치기 전에 빠지는 항목이 얼마나 되는지 잰다.
수집과 서지 대조는 보고서 단계에서 끝났다. 후보 466편 가운데 코드·모델 공개나 수치 근거가 있는 43편이 남았고 그중 18편이 표에 올랐다. 아래 여섯 편을 고른 것과 “무엇을 바꿀 것인가”는 arXiv 초록을 직접 읽고 판단했다. KV 캐시 압축과 캐시 스트리밍, 혼합 정밀도 양자화, 협력 주행, 다중 로봇 경로 탐색, 인과 데이터셋 수리, 벵골어 환각 벤치마크처럼 에이전트·RAG 개발 환경에서 바로 손댈 게 없는 행은 뺐다.
1. 받아서 바로 돌려 볼 것
메모리 정책은 1위 결과가 아니라 섞여 들어온 낡은 버전으로 비교한다
사실을 계속 저장하는 에이전트는 결국 같은 사실의 여러 버전을 갖게 된다. “X는 지금 어느 팀에서 뛰나?”처럼 값을 특정하지 않는 질문을 받으면 유사도 검색기는 최신 버전을 골라내지 못한다. 모든 버전이 질의에 나온 개체와 똑같이 맞아떨어지기 때문이다. StaleBench는 이 실패만 떼어 내 잰다. 실제로 값이 바뀐 사실 892건을 쓰고 어느 버전이 현재 것인지는 검색 점수가 아니라 출처(TempLAMA를 거친 Wikidata 유효 연도)에서 가져온다.
핵심 결과는 검색 지표가 메모리 정책의 순위를 거꾸로 매길 수 있다는 것이다.
원문 근거
"a retention policy and its retain-everything control return the identical statement at rank 1 for every test query, yet differ by 29.5 and 65.6 points in reader accuracy on two readers when no date is shown."
저자들이 추가한 지표 Contamination@5는 두 정책의 순위를 맞게 매겼고 current@1과 current@5는 그러지 못했다. 저장 문장에 들어 있던 어휘 단서를 빼면 실제 배포된 키 방식들의 최신성이 수십 점 떨어졌고 쓰기 경로와 질의 양쪽에서 개체 해소를 하면 손실 대부분이 돌아왔다. Mem0, Graphiti, LangMem과 재구현한 ERASE는 옛 버전을 새 버전으로 대체하는 방식이 제각각이어서 채점 규칙 하나로 넷을 다 설명할 수 없었다.
바꿀 것: 메모리의 보존·삭제 정책을 비교할 때 1위 결과가 최신 버전인지만 보고 결정하지 않는다. 상위 5건 안에 낡은 버전이 얼마나 섞여 들어오는지를 따로 세고 검색 결과를 실제로 답변 모델에 넘겨 정확도를 잰다. Contamination@5의 정확한 정의는 초록에 없으니 공개된 평가기에서 확인한다. 위 격차는 답변 모델에 날짜를 보여 주지 않은 조건에서 나온 것이므로, 내 메모리 항목이 날짜 없이 컨텍스트에 들어가는지부터 확인한다. 메모리를 쓸 때와 질의할 때 개체 이름을 같은 식별자로 정리하는 단계가 양쪽에 다 있는지도 본다. 데이터와 고정된 평가기, 기준선이 공개돼 있다.
검증은 작성 모델이 본 증거가 아니라 원문과 대조한다
LLM은 재무 분석을 매끄럽게 쓰지만 비율을 잘못 계산하고, 지난 주가를 떠올리고, 질문을 엉뚱한 도구로 보내면서도 자신만만하다. FinVeriQA는 재무 질의응답 어시스턴트에서 어느 부품이 어느 일을 맡아야 하는지를 SEC 공시와 실시간 시세 위의 오픈소스 다중 에이전트 프로토타입으로 따져 본다. 작은 판정 전용 모델(Laya)이 질문을 라우팅하고 투자 조언 요청을 걸러 낸다. 숫자는 전부 Python이 계산하고, 검색과 도구가 증거를 가져오고, Mistral-7B가 인용을 단 답을 쓴다. 코드 검증기는 인용한 ID가 실제로 있는지와 숫자가 계산 결과와 맞는지를 확인한다. 파이프라인 전체는 MCP 서버로 노출된다.
부품별 실험 결과는 이렇다. 라우팅은 Laya가 Mistral-7B보다 나았다(0.85 대 0.52, 전체 0.86 대 0.68). 12B Mistral은 더 낫지 않았고 DeepSeek-R1-8B는 더 나았지만(0.79 대 0.68) 9.9배쯤 느렸다. 재무 계산 100건에서 Mistral-7B는 29%를 맞혔고 Python은 100%였다. 실시간 시세를 붙이자 가격 오차가 210%에서 0.00%로 줄었다. 하이브리드 검색은 공시 질문 50건에서 Hit@5 76%였다.
그런데 이렇게 짜 놓고도 검증기가 뚫렸다.
원문 근거
"Yet in a live case study, both agent answers passed validation while describing AMD sample data under NVIDIA's and Alphabet's names."
이유는 FinRank 벤치마크의 통제 실험에서 나온다. 공유 증거의 수치 하나를 오염시키면 자기 일관성 검사는 계속 자신 있어 한다. 정확도가 0.50에서 0.00으로 떨어지는 동안 답변 간 일치도는 0.55~0.59에 머물렀다. 작성 모델이 본 것과 같은 증거로 하는 검사는 오류의 35%를 잡았고 원문 구절과 대조하는 검사는 77%를 잡았다. DeepSeek-R1-8B에서는 68% 대 90%였다. 저자들의 결론은 한 문장이다. 검증은 작성자가 본 증거와 독립적이어야 한다.
바꿀 것: 답변 검증기가 “인용 ID가 존재하는가, 숫자가 중간 계산값과 일치하는가”만 본다면 그 검증기는 작성 모델과 같은 증거를 보고 있는 것이다. 검색 단계가 넘긴 요약이나 정리된 값이 아니라 원문 구절을 다시 읽어 대조하는 검사를 하나 더 둔다. 그 구절이 질문한 회사의 것인지도 함께 확인한다. 여러 번 생성해 답이 일치하면 믿는 방식은 증거가 공유되는 구성에서는 신뢰 신호로 쓰지 않는다. 비율·증감 같은 숫자는 모델에게 계산시키지 말고 코드로 계산해 넣는다. 라우팅에 범용 LLM을 쓰고 있다면 작은 전용 판정 모델과 정확도·지연을 비교해 본다.
메모리 레코드는 지우지 말고 묶어서 줄인다
장기 실행 에이전트의 외부 메모리는 대화가 쌓일수록 커지고 저장·검색·응답 생성 비용이 함께 오른다. 비용을 올리는 요인은 둘이다. 레코드 수가 늘면 검색 부담이 커지고 검색된 컨텍스트가 길어지면 프리필 계산과 디코딩 시점의 어텐션 비용이 커진다. 기존 방법은 레코드를 지우거나 합치는데 둘 다 약점이 있다. 지우면 쓸 만한 증거가 사라질 수 있고 합치면 개수는 줄어도 검색 단위 하나하나가 길어질 수 있다.
MemFolder는 레코드 수와 컨텍스트 길이를 차례로 줄인다. RecordFolder는 개체 언급을 정리하고, 대표성이 있으면서 서로 보완하는 앵커를 골라 가며 의미·개체 친화도와 시간 순서 연결을 써서 함께 묶일 수 있는 레코드를 더 적은 검색 단위로 합친다. ContextFolder는 그 묶음 안의 원본 레코드를 압축된 텍스트로 바꾸고 핵심 사실이 복원되지 않으면 검증 피드백을 받아 다시 쓴다. 텍스트 벤치마크 LoCoMo, PersonaMem, LongMemEval과 멀티모달 벤치마크 M3-Bench-web, M3-Bench-robot으로 평가했다. Mem0 위에서 RecordFolder는 레코드를 50% 줄이고도 텍스트 벤치마크 세 개 평균 성능의 99.0%를 유지했다. 가장 강한 기준선보다 성능 유지율이 1.9%p 높다.
바꿀 것: 메모리가 커져서 오래된 레코드를 지우는 정리 작업을 돌리고 있다면 같은 개체·같은 시간 흐름에 속한 레코드를 묶는 방식과 비교해 본다. 합친 뒤에는 레코드 수만 보지 말고 검색 단위당 길이도 잰다. 개수는 줄었는데 검색될 때마다 들어가는 토큰이 늘었다면 비용은 그대로다. 레코드를 요약·압축해 저장한다면 압축본만으로 원래의 핵심 사실에 답할 수 있는지 확인하고 안 되면 다시 쓰게 하는 검증 단계를 붙인다. Mem0를 쓰고 있다면 공개 코드를 그대로 받아 내 데이터로 유지율을 재 볼 수 있다.
LLM 심판을 보상으로 쓴다면 질문 유형별 거부율을 본다
정답지가 없는 곳에서는 LLM 심판(judge)의 판정을 보상으로 써서 모델을 학습시킨다. 심판의 지식이 학습되는 모델로 넘어가리라는 기대가 깔려 있다. Blind Spots Travel, Knowledge Stays Home은 7~8B 모델에게 자료 없이 질문에 답하거나 기권하도록 가르치는 강화학습 814회를 돌려 실제로 무엇이 넘어가는지 본다.
개별 답에 대한 심판의 지식은 넘어가지 않았다. 심판이 틀린 답에 보상을 주면 모델은 그 질문 하나에 대해서만 그 답을 외운다. 정답지나 훨씬 강한 심판으로 학습한 모델도 새 질문 중 어느 것에 답할지를 고르는 능력은 나아지지 않았다. 학습하지 않은 모델이 답을 32개 뽑아 서로 다르면 기권하는 방식과 같은 수준이었고 심판의 지식이 더해 준 것은 질문 100개당 고쳐진 답 한 개쯤이었다.
넘어가는 것은 질문의 유형에 대한 심판의 믿음이다.
원문 근거
"A judge that rejects eleven of the twelve correct training answers about capitals of former states teaches the model to refuse 98% of such capitals on new questions, a loss that accuracy and abstention rates do not reveal."
그 열두 건의 판정만 손으로 바꾸면 거부율이 5%에서 90%로 움직였다. 정답지만큼 많은 답을 받아 주는 심판에서도 그랬고 그 정도로 관대한 심판 넷 중 둘이 이미 이 유형의 38~42%를 잃게 만들었다. 모델이 수도를 잊은 것은 아니다. “모르겠다”를 막으면 94%를 맞혔다. 그래서 채점자에게 자체 지식이 필요 없다는 결론이 나온다. 라벨도 심판도 없이, 학습 전 모델의 샘플 대다수가 일치하는 답을 내면 보상하는 방식이 정답지와 같은 보상을 얻으면서 그 유형을 지켰다.
바꿀 것: LLM 심판 판정을 보상으로 써서 모델을 미세조정한다면 학습 전에 심판의 판정을 질문 유형별로 나눠 본다. 정답인데도 심판이 유독 많이 거부하는 유형이 있으면 그 유형은 학습 뒤 통째로 기권 대상이 될 수 있다. 학습 뒤에도 전체 정확도와 기권율만 보지 말고 유형별 거부율을 따로 잰다. 기권을 강제로 막고 답하게 했을 때 맞히는 유형이라면 지식이 아니라 거부가 학습된 것이다. 초록 범위에서는 자료 없이 답하는 질문과 7~8B 모델에 한정된 결과이니, 같은 조건이라면 심판 없이 자기 샘플 다수 일치 답에 보상하는 기준선을 함께 돌려 비교한다.
2. 코드는 없지만 파이프라인에서 바로 점검할 것
평가 세트에 존재하지 않는 회사를 넣는다
기업을 조사하는 RAG 시스템은 보통 얼마나 많이 찾아냈는지로 평가받는다. 공개 증거가 드문 시장에서는 근거 없는 자신 있는 답이 답을 안 하는 것보다 비싸다. AfriBizClaims는 아프리카 여섯 개 시장의 기업 조사 질의 150건(영어·프랑스어·포르투갈어)으로 만든 벤치마크이고 올바른 시스템이라면 답을 거절해야 하는 가상의 회사 질의가 섞여 있다. 시스템이 내놓은 주장 하나하나를 그 주장이 인용한 페이지와 대조해 AI 심판이 판정하고 다른 모델 계열의 두 번째 AI 심판과 사람 두 명이 그 판정을 다시 확인한다. 기권은 답할 수 있는 질문인지에 대한 라벨로 채점한다.
비교 대상은 통합 말뭉치 위의 BM25, 표준 웹 RAG, 다단계 에이전트 파이프라인(Konexium V1)이고 셋 다 같은 언어 모델을 쓴다. 단순한 두 기준선은 판정된 주장의 98%가 인용 페이지로 뒷받침됐고 가상 회사에 대해서는 모든 항목을 거절했다. 에이전트 파이프라인은 달랐다. 질문한 회사가 아닌 다른 회사에 대한 주장을 오류로 세면 질의당 정밀도가 68%였고 이름을 지정한 회사에 대한 질문에는 한 번도 맞게 답하지 못했다. 다른 회사로 바꿔치기했기 때문이고 가상 회사 24개 중 5개에서도 그랬다. 실행 간 안정성이 가장 낮았고 비용은 가장 컸다.
원문 근거
"In the pipeline we evaluated, more steps between the query and the evidence did not buy more grounded answers."
바꿀 것: 회사·제품·인물을 조사하는 RAG나 에이전트의 평가 세트에 실제로 없는 이름을 몇 건 넣고 거절하는지 본다. 인용 검사는 두 단계로 나눈다. 주장이 인용한 페이지에 실제로 있는지, 그리고 그 페이지가 질문한 바로 그 개체에 대한 것인지다. 앞의 것만 보면 다른 회사 얘기를 정확히 인용한 답이 통과한다. 다단계 에이전트 파이프라인을 운영 중이라면 같은 모델을 쓴 단순 RAG를 기준선으로 같이 돌려 정밀도와 실행 간 편차, 비용을 비교한다. 평가한 에이전트 파이프라인은 하나이고 질의는 150건이라는 점은 감안한다.
- arXiv 2611.19900. 초록에 공개 자원 링크는 없다. 질의·시스템 출력·라벨·증거 발췌를 공개할 예정이라고 적혀 있다
하이브리드 검색에서 합치기 전에 빠지는 후보를 잰다
밀집·희소 하이브리드 검색은 보통 질의마다 다른 가중치로 두 벡터 거리의 가중합을 구해 순위를 매긴다. 흔한 구현은 밀집 인덱스와 희소 인덱스를 따로 검색한 뒤 두 후보의 합집합을 재정렬하는 것이다. UniGraph 저자들은 이 구성의 문제를 두 가지로 적는다. 검색을 두 번 돌려야 하고 두 신호를 합쳐야만 상위에 오르는 항목이 합치기 전에 버려질 수 있다.
하이브리드 거리로 그래프 인덱스를 직접 만들면 이 손실을 줄일 수 있지만 가중치가 바뀌면 이웃 관계도 바뀌어서 가중치 하나로 만든 그래프는 질의별 가중치를 받아 내지 못한다. UniGraph는 여러 가중치에서 계산한 이웃 집합을 차수가 제한된 그래프 하나로 합쳐 인덱스를 다시 만들지 않고도 질의별 가중치를 지원한다. 질의 가중치에 따라 희소 쪽과 밀집 쪽 진입점 중 하나를 고르는 탐색과, 밀집 거리를 먼저 보고 불필요한 희소 거리 계산을 건너뛰는 가지치기도 들어 있다. 가중치가 섞인 설정에서 Recall@100이 0.95 이상일 때 데이터셋별로 가장 빠른 기준선보다 QPS가 27.6%~52.3% 높았고 앤트그룹 운영 환경에 대규모로 배포돼 있다고 한다.
바꿀 것: 코드가 공개되지 않아 인덱스를 받아 쓸 수는 없다. 가져갈 것은 진단이다. 밀집·희소 인덱스에서 각각 상위 k건을 뽑아 합친 뒤 재정렬하고 있다면, 표본 질의에 대해 전체 문서의 가중합을 직접 계산한 상위 k건과 비교해 합집합에 아예 들어오지 못한 항목의 비율을 잰다. 빠지는 게 있으면 인덱스별 후보 수를 늘려 가며 그 비율이 어디서 사라지는지 본다. 질의마다 가중치가 달라지는 구성이라면 가중치 구간별로 따로 잰다.
- arXiv 2611.20758. 초록에 공개 자원 링크는 없다
이번 주에 손댈 것
여섯 편 중 네 편이 같은 곳을 가리킨다. 지금 보고 있는 지표가 통과시킨 답이 다른 대상에 대한 답일 수 있다는 것이다. 1위 검색 결과가 같아도 낡은 버전이 섞여 답이 갈리고, 인용 ID와 숫자가 맞아도 다른 회사의 데이터일 수 있고, 인용이 정확해도 질문한 회사가 아닐 수 있고, 정확도와 기권율이 멀쩡해도 한 유형이 통째로 거부되고 있을 수 있다. 당장 할 수 있는 건 셋이다.
하나. 메모리 검색 평가에 “상위 5건에 낡은 버전이 몇 건 섞였는가”를 추가하고 검색 지표와 별개로 답변 정확도를 잰다.
둘. 답변 검증기가 무엇을 보고 판정하는지 확인한다. 작성 모델이 본 증거만 다시 보고 있다면 원문 구절과 대조하는 검사를 붙이고 그 구절이 질문한 개체의 것인지도 함께 본다.
셋. 평가 세트에 존재하지 않는 개체에 대한 질의를 넣어 거절하는지 본다.
메모리 레코드 접기, LLM 심판 보상, 하이브리드 검색 후보 손실은 그 기능을 쓰는 환경에서만 해당한다. 쓰고 있다면 각 절의 “바꿀 것”에서 측정 하나씩만 먼저 걸어 둔다.
참고
- StaleBench: Isolating Stale Retrieval in Agent Memory, and Pricing the Fix
- FinVeriQA: Financial Research Agents for Question Answering: Routing, Retrieval, MCP Tool Use, and Provenance-Aware Evidence Verification
- MemFolder: Structure-Guided Memory Folding for Efficient Agent Memory Management
- Blind Spots Travel, Knowledge Stays Home: What RL Inherits from an LLM Judge
- Attribute or Abstain: Evaluating Evidence-Grounded Retrieval on the Low-Resource African Business Web
- UniGraph: A Unified Graph-based Index for Dynamic Hybrid Dense-Sparse Vector Retrieval