プロダクトチーム
需要に波があると予想されます。デプロイ方法を選ぶ前に、想定されるピークトラフィックと、アプリケーションに必要な応答時間を書き出しましょう。
トラフィックの範囲が分かれば、必要な処理能力と利用量を比較する基準になります。
ワークロードに合わせてbasetenの料金を評価する方法
Basetenは、推論用のAIモデルをデプロイするチーム向けのサービスです。費用を見積もる際は、単一の目立つ価格ではなく、モデル、デプロイ構成、予想トラフィックから始めましょう。
事前準備
費用を比較する前に、何をデプロイする必要があり、人々がそれをどう使うかを明確にしましょう。出発点によって、検討すべきことは異なります。
MLエンジニア
提供できる状態のモデルがあります。推論ワークフローをテストする前に、モデルのサイズ、ハードウェア要件、想定リクエスト数を記録しましょう。
ワークロードを明確にすると、デプロイ費用の見積もりを検証しやすくなります。
予算責任者
初回限定の特典と継続的な運用予算を区別する必要があります。現在の利用資格と条件を直接確認しましょう。
一時的な利用枠に依存しない計画のほうが、維持しやすくなります。
セキュリティ審査担当者
本番環境へのデプロイを評価しています。デプロイ方法を比較する際は、セキュリティとデータの取り扱いに関する要件も含めましょう。
承認済みのアーキテクチャを基準にすれば、チームが使えない選択肢について誤解を招く見積もりを避けられます。
一通りの手順
すべてのモデルに一律の料金を当てはめるのではなく、代表的なデプロイを1つ選んで一通り検討しましょう。
-
1
ワークロードを定義する
チームがアプリケーションを通じてテキストモデルを提供しているとします。モデル、平均入力・出力サイズ、想定リクエスト数、ピーク時間帯、許容できるレイテンシーを記録してください。推定値と実測トラフィックは分けて管理します。
-
2
デプロイ候補を選ぶ
モデルに必要と考えられるハードウェアと処理能力を特定し、該当する構成と課金条件について、最新のBasetenのドキュメントまたは営業情報を確認してください。他社の料金で代用しないでください。
-
3
見積もりとテストを行う
適用される最新の料金を使い、低利用時、想定利用時、ピーク利用時のシナリオを計算してください。代表的なワークロードをテストし、実測した処理能力を前提条件と比較して、予算として扱う前に見積もりを修正します。
オプション比較表
コスト比較が有用なのは、各オプションを同じワークロードで測定した場合だけです。よくある以下の安易な比較方法では、重要な項目が空欄のままになります。
1
単一の料金による比較
このガイドでは、すべてのBasetenデプロイに当てはまる単一の信頼できる料金は提示できません。モデルの要件、処理能力、使用量、最新の契約条件は異なる場合があります。
代わりにすべきこと
最新のプロバイダー情報を使い、同じトラフィックとレイテンシーの前提条件で候補となる構成を比較します。
2
検証されていない月額合計
リクエスト間もデプロイの処理能力を確保しておく必要がある場合や、その他の料金が適用される場合、リクエスト数だけでは月額請求額を算出できません。
代わりにすべきこと
使用量と稼働時間の両方を記録し、選択したオプションの課金方法を確認します。
3
初回特典を基準にする
一時的な特典が利用できるとしても、それを本番利用の継続的なコストの基準にはできません。
代わりにすべきこと
特典を含めずに継続的なコストを見積もり、適用可能な特典は別途扱います。
見積もりが不正確になる要因
視点を切り替えて、一見整った見積もりを不確かなものにする前提条件を見つけます。
エンジニアリング
モデル名はデプロイ仕様ではありません
同じモデルでも、デプロイごとに必要な処理能力は異なります。短いリクエストと安定したトラフィックを使ったベンチマークでは、長い出力や急激なトラフィックの増加を再現できない場合があります。
- 実際の使用状況を反映した入力と出力でテストしてください。
- 実際の負荷に近い条件でレイテンシーとスループットを測定してください。
- モデルが変更された場合は、構成を見直してください。
財務
予測は請求書ではありません
見積もりには、アイドル状態の処理能力、トラフィックの変化、特定の契約に適用される条件が反映されていない場合があります。予算では、確認済みの請求内容と前提条件を分けてください。
- 低負荷、想定負荷、ピーク負荷のシナリオを用意してください。
- 計算に使用した料金の適用日を記録してください。
- 実際の使用量を予測と比較してください。
運用
平均需要ではピーク需要を把握できない場合があります
月間平均では費用が許容範囲に見えても、短時間のピーク時にアプリケーションのレイテンシー目標を満たすには、より高い処理能力が必要になる場合があります。予測費用と併せてサービス要件も検討してください。
- 負荷が高くなる時間帯を特定してください。
- 許容できる応答時間の目標を設定してください。
- ピーク負荷時のデプロイの動作をテストしてください。
見積もりを検証可能にする
入力に関する前提条件
ステップ 1
まずワークロードの記録を作成する
モデルのバージョン、リクエストの形式、トラフィック予測、レイテンシー目標をまとめて記録してください。その記録があれば、特定のBaseten構成を選んだ理由と、再見積もりが必要になる条件を説明できます。
検証
ステップ 2
予測を実測値と比較する
代表的な条件でテストした後は、可能な限り推測を実測したスループットと運用パターンに置き換えてください。ワークロードやデプロイ構成が変わった場合は、古い数値を使い続けず、計算を更新してください。
次のステップに進む
リンク先は別のAIプラットフォームを提供しており、Basetenの公式見積もりではありません。モデルの要件と想定使用量を整理し、契約を決める前にリンク先で最新の条件を確認してください。
独自のFAQ
適用される料金は、選択するサービスとデプロイ構成によって異なります。ワークロードに該当する料金と請求条件については、Basetenが公開している最新情報を確認するか、担当チームにお問い合わせください。このガイドでは現在の料金を提示していません。
すべての選択肢に同じ課金単位が適用されるとは限りません。検討中の構成について、課金単位、最低利用条件の有無、稼働時間や使用量の測定方法を確認してください。
まず、モデルと構成、想定トラフィック、リクエストのサイズ、ピーク時の需要、レイテンシーの目標を整理します。これらの前提条件と現在適用される料金を組み合わせ、選択した容量で代表的なリクエストを処理できるかテストしてください。
トラフィックや稼働時間が予測と異なる場合や、性能目標を満たすために別の構成が必要になる場合があります。見積もりの前提条件を記録し、実測した使用量や実際の請求条件と比較してください。