Engram: DeepSeek integriert zweites Gedächtnis in LLMs

DeepSeek entwickelte Engram, eine Speicherarchitektur, die häufige N-Gramm-Muster mit Lookup-Tabellen verwaltet, um Rechenkosten von großen Sprachmodellen deutlich zu senken. Dies verbessert die Leistung bei Wissens- und Reasoning-Aufgaben, da neuronale Ressourcen effizienter für komplexe Prozesse genutzt werden können, ohne den Speicherverbrauch stark zu erhöhen.