Cloudflare nutzt die interne Plattform Omni, um auf Edge-Knoten mehr KI-Modelle mit weniger GPUs effizient zu betreiben. Omni ermöglicht das gleichzeitige Management mehrerer Modelle auf einem Gerät durch leichte Isolation, verbessert Verfügbarkeit, reduziert Latenz und verringert den Energieverbrauch durch inaktive GPUs.
