| Zentrale Kostenfrage |
Welcher Aufwand ist nötig, um die erforderliche Kapazität für die Modellbereitstellung bei der angestrebten Latenz verfügbar zu halten?
|
Welche Ressourcen verbraucht die Gesamtheit der GPU-Funktionen, Dienste und Hintergrundjobs bei realem Traffic?
|
| Leerlaufzeiten |
Prüfen Sie, ob die gewählte Serving-Konfiguration zwischen Anfragen Kapazität vorhält und wie sich das auf die Kosten auswirkt.
|
Prüfen Sie, wie die gewählte Funktions- oder Dienstkonfiguration mit Leerlaufzeiten und nachfolgenden Anfragen umgeht.
|
| Traffic-Spitzen |
Messen Sie, ob die Serving-Konfiguration die Spitzennachfrage ohne übermäßig bereitgestellte Kapazität bewältigt.
|
Messen Sie, wie sich die gewählte Funktionsparallelität und Kapazität auf Lastspitzen, Warteschlangen und Ressourcennutzung auswirken.
|
| Modellvorbereitung |
Berücksichtigen Sie die Paketierung, die Validierung von Abhängigkeiten und die Änderungen, die nötig sind, um ein Modell bereitstellen zu können.
|
Berücksichtigen Sie Funktionscode, Umgebungseinrichtung, Validierung von Abhängigkeiten und den Aufwand für das Laden des Modells.
|
| Unterstützende Jobs |
Erfassen Sie Datenaufbereitung, Evaluierung und andere Arbeiten außerhalb des Inferenz-Endpunkts separat.
|
Berücksichtigen Sie unterstützende GPU- und CPU-Jobs, wenn sie auf derselben Plattform ausgeführt werden.
|
| Betriebsaufwand |
Erfassen Sie den Zeitaufwand für Bereitstellungsupdates, Monitoring, Fehlerbehebung und die Verantwortung für den Endpunkt.
|
Erfassen Sie den Zeitaufwand für die Pflege von Funktionen, Diensten, Abhängigkeiten und Verhalten auf Anwendungsebene.
|
| Einheit für einen fairen Vergleich |
Gesamtkosten und Personalaufwand pro abgeschlossener, gültiger Inferenz beim geforderten Servicelevel.
|
Gesamtkosten und Personalaufwand pro abgeschlossener, gültiger Inferenz beim gleichen Servicelevel.
|