所要時間の違いが生じる箇所
ここでいう所要時間には、初回デプロイ、応答のレイテンシー、アイドル状態からの復帰、継続的な保守など、複数の意味があります。それぞれ個別に測定してください。
または
選択肢1
チームの主な目的は、既存のモデルを推論エンドポイントとして公開することです。
まずBasetenを試験導入してください。
モデルサービングを中心としたワークフローなら、チームが管理する必要のあるアプリケーションコードを減らせる可能性があります。依存関係の修正やデプロイのやり直しも含め、パッケージ化からリクエストの検証完了までにかかる時間を測定してください。初回デプロイの所要時間だけでは、十分な評価になりません。
または
オプション 2
ワークロードでは、推論にカスタム Python 関数や GPU を利用するジョブを組み合わせます。
まず Modal を試験運用します。
Python を中心としたワークフローなら、処理と実行を一体的に管理しやすいかもしれません。環境の構築、モデルの読み込み、繰り返し発生する本番リクエストに対して関数を安全に使えるようにするまでの時間も評価に含めてください。
または
オプション 3
リクエストが突発的に増える、または厳しい応答時間の目標がある場合。
記録したトラフィックの履歴を使って両方をテストします。
稼働中の状態で受けたリクエストのレイテンシー、アイドル期間後の遅延、同時リクエスト時の挙動を分けて評価します。応答時間の中央値だけでなく、待ち行列、障害、復旧も記録してください。単独のリクエストが速くても、本番環境での性能を証明したことにはなりません。