Kleine Sprachmodelle (270M bis 32B Parameter) laufen effizient auf CPUs oder einfachen GPUs und bieten Vorteile wie Datenschutz durch lokale Ausführung, kalkulierbare Kosten und volle Kontrolle dank offener Modelle. Dieser Artikel beleuchtet Herausforderungen und Lösungsansätze bei der Entwicklung von Agent-Architekturen für diese Modelle basierend auf praktischen Experimenten und Optimierungen.
