![\"\"](\"https:\/\/www.artefact.com\/\/wp-content\/uploads\/2026\/03\/Part-1-Post-memory-training_Teaching-agents-to-remember-not-just-retrieve-image-1.png\")
<\/p>\n
Die Wand zur Feinabstimmung<\/h2>\n
Die Standardannahme f\u00fcr den gr\u00f6\u00dften Teil der j\u00fcngeren Geschichte der KI war einfach: Wenn Sie wollen, dass sich ein Modell anders verh\u00e4lt, dann passen Sie es an. Passen Sie die Gewichte an. Optimieren Sie es f\u00fcr Ihren Bereich. Das Problem ist, dass die Feinabstimmung nur noch von einer schrumpfenden Zahl von Unternehmen durchgef\u00fchrt wird.<\/p>\n
Das Training eines 70B-Parameter-Modells erfordert Hunderte von High-End-GPUs, die Tage oder Wochen lang laufen. Ein einziger Feinabstimmungslauf f\u00fcr ein Modell wie Llama 3.1 70B kostet zwischen $50.000 und $200.000 an Rechenleistung, je nach Gr\u00f6\u00dfe und Dauer des data-Sets. Der Zugang zu diesem Computer ist begrenzt. NVIDIA H100-Cluster sind Monate im Voraus ausgebucht, und das Fachwissen f\u00fcr die Verwaltung verteilter Trainingsauftr\u00e4ge ist rar. Die meisten Unternehmensteams verf\u00fcgen nicht \u00fcber ML-Ingenieure, die Reward-Funktionen entwerfen, Gradientenprobleme beheben oder die Wiederherstellung von Checkpoints in Clustern mit mehreren Knoten verwalten k\u00f6nnen.<\/p>\n
Das Ergebnis ist ein zweistufiges System. Eine Handvoll Pionierlaboratorien und gut finanzierte Startups k\u00f6nnen das Verhalten der Modelle anpassen. Alle anderen verwenden die Modelle so, wie sie sind, und verpacken sie in prompte Engineering- und Retrieval-Pipelines, die an ihre Grenzen sto\u00dfen, sobald die Aufgaben lang und komplex werden.<\/p>\n
Das Post-Memory-Training durchbricht diese Dynamik. Es ver\u00e4ndert die Gewichte des Basismodells f\u00fcr das Dom\u00e4nenwissen nicht. Es trainiert ein Verhalten - die Speicherverwaltung - mit Hilfe von Verst\u00e4rkungslernen in der Post-Trainingsphase. Die Rechenanforderungen sind um eine Gr\u00f6\u00dfenordnung geringer. Die gesamte Trainingspipeline von AgeMem l\u00e4uft auf einem einzigen 8xA100-Knoten. Memory-R1 erzielt seine Ergebnisse mit 152 Trainingsbeispielen. MemAct trainiert ein 14B-Modell und erreicht damit die Genauigkeit von Modellen, die 16 Mal gr\u00f6\u00dfer sind. Dies sind nicht die Ressourcenanforderungen eines Grenzlabors. Sie sind zug\u00e4nglich.<\/p>\n
Die Konsequenz: Unternehmen, die es sich nie leisten konnten, eine Feinabstimmung des Basismodells vorzunehmen, k\u00f6nnen jetzt ihre Agenten darin schulen, den Speicher intelligent zu verwalten. Das ist keine schrittweise Verbesserung. Es handelt sich um eine Verschiebung der Zust\u00e4ndigkeit f\u00fcr die Entwicklung von Agenten, die \u00fcber das Demo-Stadium hinaus funktionieren.<\/p>\n
Die L\u00fccke, die Architektur allein nicht schlie\u00dfen kann<\/h2>\n
Hier ist das Problem in konkreten Worten. Ein einziges Gespr\u00e4ch mit einem KI-Agenten kostet im Durchschnitt etwa $0,14 Token. Skalieren Sie das auf 3.000 Mitarbeiter, die zehnmal am Tag damit arbeiten, und Sie kommen auf $126.000 pro Monat an API-Geb\u00fchren. Wenn die Konversationshistorie w\u00e4chst, steigen die Kosten quadratisch an, da jeder neue Vorgang alle vorherigen Vorg\u00e4nge erneut verarbeitet. Ein Agent, der einen Workflow mit 100 Abfragen bearbeitet, kostet nicht das 10-fache dessen, was ein Workflow mit 10 Abfragen kostet. Er kostet eher das 100-fache.<\/p>\n
Die Branche hat gr\u00f6\u00dfere Kontextfenster ausprobiert. Wir haben jetzt Modelle, die eine Million Token oder mehr akzeptieren. Aber drei Probleme bleiben bestehen. Die Aufmerksamkeit des Modells nimmt bei langen Sequenzen ab. Der von der UC Berkeley dokumentierte \u201cLost in the middle\u201d-Effekt zeigt, dass die Leistung sinkt, wenn relevante Informationen in der N\u00e4he der Kontextgrenzen liegen. Die Kosten f\u00fcr das Erzwingen von Kontext sind in Unternehmen nicht tragbar. Und die meisten Arbeitsabl\u00e4ufe in Unternehmen \u00fcberschreiten selbst bei Ber\u00fccksichtigung von Tool-Outputs, strukturiertem data und akkumuliertem Status noch immer Millionen-Token-Fenster.<\/p>\n
Die Industrie hat es mit Retrieval-Augmented Generation versucht. RAG ist hilfreich, aber es findet nur das, was semantisch \u00e4hnlich ist, nicht das, was operativ relevant ist. Eine kritische Einschr\u00e4nkung aus Runde 3 kann semantisch weit von der Abfrage in Runde 47 entfernt sein, aber dennoch f\u00fcr die anstehende Entscheidung wichtig sein.<\/p>\n
Die Industrie hat eine heuristische Speicherverwaltung ausprobiert. Regelbasierte Systeme, die den Kontext auf der Grundlage einer vordefinierten Logik zusammenfassen, komprimieren oder filtern. Die Architektur von Mem0 erreicht eine um 26% verbesserte Genauigkeit und eine um 91% geringere Latenzzeit im Vergleich zu Methoden mit vollst\u00e4ndigem Kontext. Ein echter Gewinn. Heuristische Systeme haben jedoch eine Einschr\u00e4nkung: Die Regeln werden von Ingenieuren entworfen und nicht aus Erfahrung gelernt. Sie k\u00f6nnen sich nicht an neue Dom\u00e4nen anpassen, ohne dass sie manuell umgestaltet werden.<\/p>\n
Die L\u00fccke: Keiner dieser Ans\u00e4tze lehrt den Agenten selbst, was er sich merken soll. Und keiner von ihnen lehrt den Agenten, wie er sich in seinem eigenen Kontext zurechtfindet.<\/p>\n
Post-Training f\u00fcr das Ged\u00e4chtnis: die RL-Konvergenz<\/h2>\n
Der Begriff \u201cPost-Training\u201d bezieht sich auf die Optimierung, die nach der Pre-Trainingsphase des Basismodells erfolgt. Auf diese Weise sind wir von rohen Sprachmodellen zu Assistenten gekommen, die den Anweisungen folgen (\u00fcber RLHF), von Assistenten zu Denkmodellen (\u00fcber Prozessbelohnungsmodelle) und jetzt - von Denkmodellen zu Agenten, die ihren eigenen kognitiven Zustand verwalten.<\/p>\n
Der Mechanismus ist das Verst\u00e4rkungslernen. Anstatt die Speicherverwaltung als externes System aufzubauen, f\u00fcgen Sie Speicheroperationen in den Aktionsraum des Agenten ein und trainieren ihn, sie gut zu nutzen. Der Agent lernt, wann er speichern, l\u00f6schen, konsolidieren und abrufen soll - alles durch Versuch und Irrtum, optimiert im Hinblick auf die Aufgabenerf\u00fcllung. Sie brauchen keine Beispiele f\u00fcr die \u201crichtige\u201d Speicherverwaltung. Nur ein Belohnungssignal: Hat der Agent die Aufgabe schlie\u00dflich gel\u00f6st?<\/p>\n
Acht aktuelle Ver\u00f6ffentlichungen zeigen, wie das funktioniert.<\/p>\n
Die wichtigsten Architekturen<\/h2>\n
AgeMem<\/strong> gibt dem Agenten sechs Ged\u00e4chtniswerkzeuge an die Hand - ADD, UPDATE, DELETE f\u00fcr die langfristige Speicherung und RETRIEVE, SUMMARY, FILTER f\u00fcr den kurzfristigen Kontext. Das Training erfolgt in drei progressiven Stufen. Ergebnisse auf Qwen2.5-7B: +49.59% relative Verbesserung gegen\u00fcber den Null-Speicher-Baselines, mit 3-5% weniger verbrauchten Prompt-Tokens als bei den RAG-Varianten. Bessere Leistung bei weniger Kontext.<\/p>\n Speicher-R1<\/strong> teilt das Problem in zwei spezialisierte Agenten auf: einen Memory Manager, der strukturierte Operationen lernt, und einen Answer Agent, der die Antworten abruft und begr\u00fcndet. Die Belohnung des Memory Managers ergibt sich daraus, ob der Antwort-Agent richtig antworten kann. Ergebnisse: +28% F1<\/strong> gegen\u00fcber der besten Baseline auf LoCoMo, mit nur 152 Trainingsbeispielen. \u00dcbertragung von Null auf unbekannte Benchmarks ohne erneutes Training.<\/p>\n MemAct<\/strong> erweitert den Aktionsraum um einen \u201cPrune & Write\u201d-Operator - in jedem Schritt kann der Agent History Turns l\u00f6schen und eine Speicherzusammenfassung anh\u00e4ngen. MemAct-RL-14B entspricht der Genauigkeit von 16x gr\u00f6\u00dferen Modellen<\/strong> und reduziert dabei die durchschnittliche Kontextl\u00e4nge um 51% und die Inferenzlatenz um ~40%.<\/p>\n MEM1<\/strong> geht am weitesten und beh\u00e4lt eine konstante Speichergr\u00f6\u00dfe bei. Bei jedem Schritt erzeugt der Agent einen internen Status, der alles zusammenfasst, was er braucht, und verwirft dann den gesamten vorherigen Kontext. Die Speichernutzung bleibt unabh\u00e4ngig von der L\u00e4nge der Aufgabe konstant. MEM1-7B \u00fcbertrifft Qwen2.5-14B<\/strong> bei 16-Ziel-Aufgaben. Das Modell lernte, Unterziele separat zu verfolgen, gel\u00f6ste Fragen zu \u00fcberspringen und Abfragen selbst zu korrigieren - alles emergente Verhaltensweisen.<\/p>\n MemAgent<\/strong> nimmt den Extremfall in Angriff: die Verarbeitung von Dokumenten beliebiger L\u00e4nge mit linearer Komplexit\u00e4t. Trainiert auf 32K Kontextl\u00e4nge, extrapoliert es auf 3,5 Millionen Token mit weniger als 5% Leistungsverlust.<\/p>\n Das Muster ist bei allen gleich: trainierte Speicherverwaltung schl\u00e4gt untrainierte Speicherverwaltung und schl\u00e4gt oft gr\u00f6\u00dfere Modelle mit untrainiertem Speicher<\/strong>.<\/p>\n Aber Agenten beizubringen, was sie sich merken sollen, ist nur die halbe Miete. Im n\u00e4chsten Teil dieses Artikels werde ich mich mit einer parallelen Entwicklung befassen, die das Problem v\u00f6llig neu formuliert: Rekursive Sprachmodelle<\/strong>, die den Kontext nicht als etwas behandeln, das man abrufen kann, sondern als etwas, das man navigieren kann. Ich werde mir auch ansehen, wie Produktionssysteme wie OpenClaw<\/strong> beweisen, dass diese Ideen au\u00dferhalb von Benchmarks funktionieren, was diese Konvergenz f\u00fcr die Skalierung von Unternehmen bedeutet und wo die verbleibenden L\u00fccken liegen. Die Agenten, die skalieren, werden sich nicht nur besser erinnern - sie werden auch wissen, wie sie finden k\u00f6nnen, was sie sich noch nicht gemerkt haben.<\/p>","protected":false},"excerpt":{"rendered":" Post-Memory-Training war in den letzten Monaten mein Hyperfokus. Wenn Sie meine j\u00fcngsten Artikel \u00fcber Kontextmanagement, Speicherarchitekturen und die wiederkehrende Frage, warum Agenten nach Runde 50 degradieren, verfolgt haben, dann laufen diese F\u00e4den in diesem Artikel zusammen. Das urspr\u00fcngliche Muster war klar genug. Acht unabh\u00e4ngige Forschungsteams kamen zu demselben Schluss: H\u00f6ren Sie auf, Speichersysteme um das Modell herum zu bauen, und trainieren Sie das Modell selbst, um sich den Speicher als erlernte F\u00e4higkeit anzueignen. Diese Konvergenz war signifikant.<\/p>","protected":false},"featured_media":1103953,"parent":0,"template":"","meta":{"_acf_changed":false,"ep_exclude_from_search":false},"blog-category":[2995],"blog-language":[2991],"class_list":["post-1103952","blog","type-blog","status-publish","has-post-thumbnail","hentry","blog-category-ai-technology","blog-language-en"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog\/1103952","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/types\/blog"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media\/1103953"}],"wp:attachment":[{"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/media?parent=1103952"}],"wp:term":[{"taxonomy":"blog-category","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-category?post=1103952"},{"taxonomy":"blog-language","embeddable":true,"href":"https:\/\/www.artefact.com\/de\/wp-json\/wp\/v2\/blog-language?post=1103952"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}