2026-10-17 · KI im Produktivbetrieb
Zehn GPU-Stunden im Monat: warum wir keinen GPU-Cluster gebaut haben
Die eigene KI-Pipeline für Fahrzeugfotos lief im Prototyp. Die nächste Frage: auf welcher Hardware, wenn die Daten in der EU bleiben müssen und der Rest der Anwendung bei Cloudflare liegt.
Bei KI-Projekten fällt die Infrastruktur-Entscheidung oft nach Gefühl: «Bilder, also GPU, also Cluster». Ich habe zuerst gerechnet.
Erst die GPU-Stunden
Die schwere Segmentierung brauchen nur die Bilder der 360°-Rotation, nicht alle Aufnahmen. Mit der gemessenen Zeit pro Bild ergibt das rund acht bis zehn GPU-Stunden im Monat. Selbst die Spitzenstunde lastet eine einzige Karte der Mittelklasse zu etwa zehn Prozent aus. Die Frage war also nicht «wie viele GPUs», sondern «wo halte ich eine Maschine warm, und wo liegen die Daten».
Sechs Varianten, drei fielen sofort weg
Zwei KI-Modelle haben unabhängig dieselben sechs Varianten bewertet: dedizierter GPU-Server, Serverless-GPU, nur CPU, ein eigener Mac im Büro, ein GPU-Pool in verwaltetem Kubernetes, Cloudflare.
Nur CPU fiel weg: 40 Sekunden pro Bild bedeuten in der Spitze eine Warteschlange von bis zu einer Stunde. Kubernetes mit GPU ist bei so kleinem Volumen am teuersten. Cloudflare führt eigene Modelle auf GPUs nicht aus und bleibt das, was es gut kann: Speicher, Warteschlangen, Tunnel.
Die Entscheidung
Ein einzelner dedizierter GPU-Server für rund 200 Euro im Monat, der Pilot läuft direkt darauf, parallel zum bisherigen Dienst und ohne Einfluss auf den laufenden Export. Für Reserve und Spitzen Serverless-GPU in einer EU-Region — bei einem Anbieter mit Steuerung in den USA gehen dorthin nur Links auf Dateien, nicht die Fotos selbst.
Bei kleinem Inferenz-Volumen bestimmt nicht die Rechenleistung den Preis, sondern was es kostet, eine Maschine bereitzuhalten, und wo die Daten liegen dürfen. Deshalb zuerst messen, dann den Anbieter wählen.