컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

LLM 에이전트가 경험을 쌓을수록 오히려 헷갈려 하는 문제를, 기억을 4칸짜리 서랍으로 압축해 해결한 연구

arXiv:2608.025082026-08-03

RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States

LLM 에이전트가 경험을 쌓을수록 오히려 헷갈려 하는 문제를, 기억을 4칸짜리 서랍으로 압축해 해결한 연구

자가진화형 LLM 에이전트는 과거 경험(메모리)을 저장하고 그 유용성을 점수(Q값)로 학습하는데, 경험이 쌓일수록 점수를 매길 대상이 계속 늘어나 피드백이 분산되고, 성공 보상이 관련 없는 메모리에도 잘못 배분되는 '메모리-보상 함정'이 생긴다. RoMeRL은 이 문제를 해결하려고 메모리 저장 공간을 계속 늘리는 대신, 성공/실패와 고정된 대표/최근 변화라는 두 축으로 나눈 4개의 고정 칸에 경험을 담아 순환시킨다. ALFWorld와 LifelongAgentBench 실험에서 성능은 오르고, 콜드스타트 비율·메모리 크기·LLM 호출 수는 크게 줄었다.

METAL MEDIA 해설 도표

RoMeRL: 늘어나는 메모리를 4칸으로 압축하는 구조

증거 상태측정 결과가 보고됨

  1. 기존 방식의 문제저장된 경험마다 별도의 유용성 점수를 매겨 경험이 쌓일수록 점수 대상이 무한히 늘어나고, 성공 보상이 관련 없는 메모리에도 잘못 배분되는 메모리-보상 함정이 생긴다
  2. 4개 고정 좌표로 압축성공/실패(극성)와 대표사례/최근변화(역학)를 교차해 PCC(성공 대표), PAC(성공 전환), NCC(실패 대표), NAC(최근 실패) 4칸만 유지한다
  3. 온라인 갱신·교체새 경험이 들어오면 4칸 중 해당 칸의 내용을 갱신하거나 더 나은 사례로 교체하며, 기존 유용성 점수를 웜스타트로 물려받는다
  4. 이론적 근거좌표 수를 줄이면 좌표당 평균 피드백이 늘고, 오염-정화 전이 모델에서 오염된 좌표가 남을 확률에 상한이 존재함을 증명했다
  5. 측정된 효과ALFWorld·LifelongAgentBench에서 성공률 상승, Cold-Q 비율 80.0% 감소, 피드백 밀도 약 6.0배 증가, 메모리 크기 84.4% 감소, LLM 호출 21.1% 감소
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 문제 정의: 기존 학습형 메모리 시스템은 저장된 경험(궤적)마다 별도의 유용성 점수를 매기는데, 경험이 늘수록 점수 대상 공간이 무한히 커져 한정된 피드백이 옅게 퍼진다.
  2. 메모리-보상 함정: 하나의 작업 성공 보상이 그 작업에서 함께 참조된 여러 메모리에 동시에 배분되기 때문에, 실제로 기여하지 않은 관련 없는 메모리도 긍정적 점수를 받아 계속 살아남을 수 있다.
  3. 해결 방법: RoMeRL은 매 작업마다 성공/실패(결과 극성)와 오래 유지되는 대표 사례/최근 상태 변화(메모리 역학)라는 두 기준을 교차시켜 4개의 고정된 '의미 좌표'(PCC, PAC, NCC, NAC)만 유지하고, 새 경험이 들어오면 이 4칸의 내용만 갱신하거나 교체한다.
  4. 이론적 근거: 좌표 수를 줄이면 각 좌표가 받는 평균 피드백 횟수가 늘어난다는 것과, 좌표가 오염됐다가 정화되는 과정을 일반적인 상태전이 모델로 분석해 오염된 좌표가 남아있을 확률의 상한을 제시했다.
  5. 실험 결과: ALFWorld·LifelongAgentBench(OS, DB 과제)에서 RoMeRL은 기존 최강 베이스라인 대비 전체 평균 성공률을 3.2%p 높였고, 업데이트를 한 번도 못 받은 '콜드-Q' 비율을 80.0% 줄였으며, 피드백 밀도는 약 6.0배 늘고, 메모리 크기는 84.4%, LLM 호출 수는 21.1% 줄었다.
Figure 1: Memory-reward trap: Stronger exploration retrieves more low-access-count memories, including weakly relevant, noisy, outdated, or failed experiences. When such a memory appears in a successful episode, the shared trajectory reward can promote it despite no causal contribution. Exploration therefore increases feedback coverage but also raises the risk of reward misattribution.
Figure 1: Memory-reward trap: Stronger exploration retrieves more low-access-count memories, including weakly relevant, noisy, outdated, or failed experiences. When such a memory appears in a successful episode, the shared trajectory reward can promote it despite no causal contribution. Exploration therefore increases feedback coverage but also raises the risk of reward misattribution.
Table 1: Main results over 10 epochs. We compare RoMeRL with non-learning and learning-based agent-memory baselines. LAB reports Last-Epoch SR / CSR, while ALFWorld reports SR for six task types: P&P, examine, clean, heat, cool, and Pick-2. Overall is the macro-average of last-epoch SR across the two LAB tasks and six ALFWorld task types. For MemP, MemRL, and RoMeRL, we also report average LLM calls and memory-pool size.
MethodLifelong Agent BenchALFWorldOverall Avg.LLM Calls Avg Num.Memory Avg Num.
OS Last / CSROSLast / CSRDB Last / CSRDBLast / CSRP&PExamineCleanHeatCoolPick-2
OS
Last / CSR
DB
Last / CSR
ModelDS-V4-flashDS-V4-flashGPT-5.4-mini–––
No Memory0.6460.5500.8830.8270.8610.8500.8550.7880.783––
Pass@10– / 0.756– / 0.906–––––––––
RAG0.700 / 0.7520.556 / 0.8440.8910.8340.8680.8550.8580.7960.795––
Mem00.691 / 0.7330.575 / 0.8410.8970.8410.8730.8580.8720.8050.802––
MemP0.768 / 0.7960.631 / 0.942–––––––570K45K
MemRL0.808 / 0.8200.632 / 0.9340.9080.8550.8870.8650.8710.8120.830570K45K
RoMeRL (ours)0.824 / 0.8380.680 / 0.9520.9680.9570.9010.8620.8800.8260.862450K7K
Figure 2: Overview of RoMeRL. Top: the agent retrieves memories to construct the LLM context and updates memory utilities using task-level rewards. Although stronger exploration improves feedback coverage, it also expands the utility support exposed to erroneous reward propagation, increasing the risk of the memory-reward trap. Bottom: RoMeRL maps each task’s growing trajectory-indexed utility space into a fixed-dimensional state factorized by outcome polarity and memory dynamics. Its four semantic coordinates PCC, PAC, NCC, and NAC are updated through online retention, promotion, and replacement, thereby concentrating feedback over a bounded active support.
Figure 2: Overview of RoMeRL. Top: the agent retrieves memories to construct the LLM context and updates memory utilities using task-level rewards. Although stronger exploration improves feedback coverage, it also expands the utility support exposed to erroneous reward propagation, increasing the risk of the memory-reward trap. Bottom: RoMeRL maps each task’s growing trajectory-indexed utility space into a fixed-dimensional state factorized by outcome polarity and memory dynamics. Its four semantic coordinates PCC, PAC, NCC, and NAC are updated through online retention, promotion, and replacement, thereby concentrating feedback over a bounded active support.
Table 2: Controlled MRT stress test on the OS task. The first-round memory pool contains 10% noisy entries, and results are reported after ten training rounds. Positive Noise Updates denotes the average number of positive utility updates received by noisy entries over the ten rounds, whereas Final Noise Ratio denotes the percentage of noisy entries in the memory pool at the end of round 10.
MethodRound-10 SR (%) ↑Positive Noise Updates ↓Final Noise Ratio (%) ↓
MemRL79.23.71.02
MemRL + UCB78.47.21.20
RoMeRL82.02.40.15
Figure 3: Feedback density and Cold-Q ratio on the OS task. The Cold-Q ratio is the fraction of current representatives with no direct utility update since admission, i.e., nipost=0, while feedback density is their average number of post-admission updates.
Figure 3: Feedback density and Cold-Q ratio on the OS task. The Cold-Q ratio is the fraction of current representatives with no direct utility update since admission, i.e., nipost=0, while feedback density is their average number of post-admission updates.
Table 3: Cross-model memory transfer on LifelongAgentBench OS and DB tasks. Results with and without frozen transferred memory are reported as Validation Score / Average Steps (higher / lower is better), and Δ denotes the absolute score gain over the base agent.
Inference ModelBaseTransferGain (Δ)
LifelongAgentBench–OS
GPT-5.4-mini67.0 / 3.2381.6 / 2.22+14.6 / -1.01
Gemini-3.5-flash74.0 / 4.5381.4 / 3.02+7.4 / -1.51
LifelongAgentBench–DB
GPT-5.4-mini93.0 / 2.1596.8 / 2.00+3.8 / -0.15
Gemini-3.5-flash96.2 / 2.4497.6 / 2.18+1.4 / -0.26
Figure 4: Coordinate ablation on the OS task. Solid and dashed curves denote SR and CSR.
Figure 4: Coordinate ablation on the OS task. Solid and dashed curves denote SR and CSR.
Table 4: Model and API Configurations.
ComponentConfiguration / VersionNotes
Backbone LLMDS-V4-flashUsed for LifelongAgentBench
GPT-5.4-miniUsed for ALFWorld
Embedding ModelText-Embedding-3-LargeUsed for Intent and Query encoding
Generation ParamsTemperature =0.0General (Greedy decoding)
Top-p =1.0Default
Figure 5: Occupancy distribution of the factorized memory state on the OS and DB tasks. The bars report the percentage of occupied active-memory coordinates assigned to the PCC, PAC, NCC, and NAC.
Figure 5: Occupancy distribution of the factorized memory state on the OS and DB tasks. The bars report the percentage of occupied active-memory coordinates assigned to the PCC, PAC, NCC, and NAC.
Table 5: Hyperparameter Settings across Benchmarks.
Benchmark Setting
ParameterDescriptionLifelong Bench (OS)Lifelong Bench (DB)ALFWorld
RoMeRL (Ours)
αLearning Rate0.30.30.3
ωQQ-Weight Balance0.50.50.5
δSimilarity Threshold0.500.370.62
k1Cosine Similarity Recall Size10105
k2Final Memory Selection Size553
Qi​n​i​tInitial Q-value0.50.50.0
Baselines
kR​A​GRetrieval Top-k553
kS​e​l​f​R​A​GRetrieval Top-k553
kM​e​m​PRetrieval Top-k553
Figure 6: Final Q-value composition on OS tasks for the MemRL baseline (Left) and RoMeRL (Right). Each bar shows the proportions of success-derived and failure-derived memories within a Q-value interval; the legends report the fraction of memories remaining at the initial Q=0.5 and the Pearson correlation between Q-values and memory-generation outcomes.
Figure 6: Final Q-value composition on OS tasks for the MemRL baseline (Left) and RoMeRL (Right). Each bar shows the proportions of success-derived and failure-derived memories within a Q-value interval; the legends report the fraction of memories remaining at the initial Q=0.5 and the Pearson correlation between Q-values and memory-generation outcomes.
Table 6: Data split for Lifelong Agent benchmarks.
BenchmarkRuntime LearningTransfer LearningSplit / Note
Lifelong Agent (OS)500 tasks500 tasks7:3 Split (Seed 42)
Lifelong Agent (DB)500 tasks500 tasks7:3 Split (Seed 42)
LLM 에이전트가 경험을 쌓을수록 오히려 헷갈려 하는 문제를, 기억을 4칸짜리 서랍으로 압축해 해결한 연구 figure 6

실제로 확인된 결과

  • RoMeRL은 전체 평균 성공률 0.862로 최강 베이스라인의 0.830보다 3.2%p 높다(Table 1).
  • OS 과제 기준 Cold-Q 비율이 MemRL은 29%에서 44.9%로 상승한 반면, RoMeRL은 28%에서 9.0%로 낮아졌고, 피드백 밀도는 4.96에서 29.93으로 약 6.0배 증가했다(Figure 3).
  • 평균 메모리 크기가 45K에서 7K로 84.4% 줄었고, LLM 호출 수는 570K에서 450K로 21.1% 줄었다(Table 1).
  • 노이즈 10%를 주입한 스트레스 테스트에서, UCB를 더한 MemRL은 노이즈 긍정 업데이트가 3.7에서 7.2로, 최종 노이즈 비율이 1.02%에서 1.20%로 늘었지만, RoMeRL은 각각 2.4와 0.15%로 억제하면서 성공률 82.0%로 가장 높았다(Table 2).
  • 4개 모델-과제 조합 모두에서 학습된 메모리 상태를 다른 LLM 백본으로 옮겨도 점수가 오르고 평균 실행 단계 수가 줄었다(Table 3).
Figure 7: LLM calls per section on the DB and OS task. RoMeRL achieves lower and steadily decreasing call counts, while MemRL maintains a consistently high level.
Figure 7: LLM calls per section on the DB and OS task. RoMeRL achieves lower and steadily decreasing call counts, while MemRL maintains a consistently high level.

어디에 쓸 수 있나

  • 장기간 운영되며 경험을 계속 쌓는 고객 응대·업무 자동화 에이전트의 메모리 관리 구조 설계
  • 메모리 저장 공간과 LLM 호출 비용을 제한된 자원 안에서 유지해야 하는 에이전트 시스템
  • 다른 LLM 백본으로 교체할 때도 기존에 학습된 절차적 경험을 재사용하고 싶은 상황
LLM 에이전트가 경험을 쌓을수록 오히려 헷갈려 하는 문제를, 기억을 4칸짜리 서랍으로 압축해 해결한 연구 figure 8

한계와 남은 검증

  • 여전히 작업 단위의 최종 결과 보상에만 의존하므로, 어떤 메모리가 실제로 원인이었는지 완전히 구분하는 인과적 credit assignment 문제는 해결되지 않았다.
  • 제안한 오염-정화 전이 모델의 실제 파라미터(감마, 람다)를 추정하려면 반사실적(counterfactual) 롤아웃 같은 좌표 단위 인과 라벨이 필요한데, 이는 아직 별도로 검증되지 않았다.
  • 실험은 ALFWorld와 LifelongAgentBench의 OS/DB 과제로 한정되어 있으며, 더 개방적이고 긴 호라이즌의 과제에 대한 평가는 향후 과제로 남겨졌다.
  • 4개 고정 좌표(2x2 구조)는 본 논문이 제시한 최소 설계이며, 더 세밀한 보상이나 다른 분류 기준을 결합한 확장은 아직 검증되지 않았다.

왜 중요한가

에이전트가 오래 쓰일수록 기억이 무한정 쌓여 관리 비용과 오작동 위험이 커지는 것은 실제 서비스 운영에서 큰 부담인데, 이 연구는 저장 공간을 고정 크기로 유지하면서도 성능을 유지·개선할 수 있음을 보여준다. LLM을 다시 학습시키지 않고도 메모리 구조만 바꿔 효율을 높일 수 있다는 점에서, 장기 운영되는 에이전트 시스템 설계에 실질적인 참고가 된다.

이 논문의 용어

  • Cold-Q 비율 · 메모리 대표 항목이 등록된 이후 한 번도 직접적인 유용성 점수 업데이트를 받지 못한 비율. 낮을수록 피드백이 잘 도달했다는 뜻
  • 메모리-보상 함정(MRT) · 하나의 작업 성공 보상이 함께 참조된 여러 메모리에 동시에 배분되면서, 실제 기여가 없는 메모리도 긍정 점수를 받게 되는 현상
  • PCC/PAC/NCC/NAC · RoMeRL이 유지하는 4개의 고정 메모리 칸. 각각 긍정-대표, 긍정-최근전환, 부정-대표, 부정-최근 실패를 담당한다
  • Cumulative Success Rate(CSR) · 여러 에폭(반복 학습 주기)에 걸쳐 적어도 한 번 이상 해결된 작업의 비율

저자 · Yi Yang

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Yi Yang et al., arXiv:2608.02508, arxiv-nonexclusive