それぞれに適しているケース
最初のリクエストが成功した後にチームが担うべきことを踏まえて、テスト計画を選んでください。
または
選択肢 1
すでにモデルまたは明確なサービング構成が決まっている場合。
まずBasetenを評価してください。
判断の鍵となるのは、そのモデルをデプロイし、性能目標を達成し、稼働するサービスを維持できるかどうかです。初期設定ができただけで適合すると判断せず、本番環境に即した小規模なベンチマークを実施してください。
または
選択肢 2
アプリケーションに使用するモデルをまだ選定している場合。
ほかのホスティング済みモデルの候補とあわせてFireworks AIを評価してください。
実際のタスクで候補をテストし、品質、レイテンシー、失敗事例を記録してください。デモで最も良く見えたモデルが、アプリケーションの実際のトラフィックでも最適とは限りません。
または
選択肢 3
既存サービスについて、根拠を示せるプラットフォーム選定が必要です。
文書化した同一の受け入れ基準チェックリストに照らして、両方をテストしてください。
同じ評価データセット、トラフィックの前提条件、運用要件、コストの算定期間を使用してください。基盤となるモデルが異なる場合は、モデルの品質に関する結果と推論提供に関する結果を分けて報告してください。