1
リクエストの仕様を確認する
選択したモデル固有の手順を開き、入力をどこに指定するか、必須のフィールドは何か、どのような出力が返るかを確認します。同じくBaseten上で動作するからといって、別のモデルのペイロードをコピーしないでください。通信方法が同じでも、モデルの入力形式まで同じとは限りません。後から変更を追跡しやすいよう、テストしたモデルとペイロードをローカルに簡単に記録しておきます。
推論チュートリアル
別のパートナーサービス: /goでは、BasetenのカスタムデプロイやLLMカタログではなく、既存モデルの推論とAPIアクセスを提供するAI推論APIのカタログが開きます。サインインして、モデルごとの料金と利用可否を確認してください。
baseten inferenceの使い方を学ぶなら、まずアクセスできるモデルと小さなテスト入力を1つ用意しましょう。このガイドでは、特定のモデルの入力形式を前提とせずに、準備からリクエストの送信、レスポンスの確認までを説明します。
推論を大きなアプリケーションに組み込む前に、1つのモデルと代表的な入力を1つ使って、次の手順を進めてください。
呼び出すモデルを決め、現在の入出力に関する説明を確認します。テキストモデル、画像モデル、埋め込みモデルでは、必要なリクエストフィールドが異なる場合があります。
そのモデルに示されているアクセス方法を使い、必要最小限の有効なペイロードを指定します。認証情報はソースファイルやブラウザーから参照できるコードに含めないでください。
リクエストが成功したか確認してから、返されたデータを調べます。特定のレスポンス形式を前提としたコードを書くのはその後にしてください。
Basetenへの最初の推論リクエストを送る前に、以下の要件を確認してください。モデル固有のドキュメントは、一般的な例よりも優先されます。
アクセス可能なモデルと、そのモデルの最新の推論手順を確認します。 — 選んだモデルのモデル識別子またはエンドポイントを、記載どおりに記録します。
利用するサービスで必要な認証方法を準備します。 — シークレットは、コミットするコードやクライアント側アプリケーションの外に保管します。
モデルで定められたスキーマに従う入力を1つ作成します。 — バッチ全体ではなく、小さく代表的な例を使用します。
リクエストを送信し、レスポンス全体を表示できるツールを選びます。 — APIクライアントや短いサーバー側スクリプトを使うと、ステータスと返されたフィールドを確認できます。
最初のリクエストが成功した後に比較できるよう、2つ目の入力を準備します。任意 — 対照的な例を使うと、レスポンス処理コードにある思い込みを発見できます。
推論をどこに組み込むか、デプロイ前に何を確認するかをまだ検討している場合は、以下の関連ガイドが参考になります。
最初のリクエストの成功によって確認すべきなのは、単に接続できることではなく、モデル、入力、レスポンス処理が整合していることです。
1
選択したモデル固有の手順を開き、入力をどこに指定するか、必須のフィールドは何か、どのような出力が返るかを確認します。同じくBaseten上で動作するからといって、別のモデルのペイロードをコピーしないでください。通信方法が同じでも、モデルの入力形式まで同じとは限りません。後から変更を追跡しやすいよう、テストしたモデルとペイロードをローカルに簡単に記録しておきます。
2
そのモデルでサポートされているインターフェースを使い、最小限の有効な入力を送信します。最初のBaseten推論テストは意図的に小さくし、テキストタスクなら短い文章を、それ以外のメディアを受け付けるモデルなら適切に準備した素材を使います。シークレットをログに記録せず、リクエストのステータスとエラーメッセージを記録します。呼び出しに失敗した場合は、連携全体を書き直すのではなく、変数を一度に1つずつ変更してください。
3
受け取ることを期待したフィールドだけでなく、返された構造全体を確認します。出力が入力に対応しているか、空の結果や予期しない結果をアプリケーションで安全に処理できるかを確かめてください。この確認を終えてから、レスポンスを独自の型やユーザーインターフェースにマッピングします。ハードコードされた前提を見つけるため、別の入力でもテストを繰り返してください。
一般的なガイドですべてのモデルを診断することはできませんが、以下の確認により、推論失敗のよくある原因を絞り込めます。
認証情報、モデルの参照先、アクセス権限のいずれかが間違っていると、リクエストは成功しません。エラーが出たからといって、モデル自体が利用できないとは限りません。
対処法
設定したアクセス方法とモデルの参照先を、現在の手順と照らし合わせて確認します。漏えいしたシークレットは再利用せず、更新してください。
フィールドやメディアがモデルの文書化されたスキーマと一致しなければ、Baseten上のモデルはそれらを解釈できません。ネットワークリクエスト自体が有効でも、ペイロードを使用できない場合があります。
対処法
ペイロードをドキュメントに記載された例まで簡略化し、フィールド名とデータ型を確認してから、独自の入力を少しずつ戻します。
モデルによって返す構造は異なります。呼び出しに成功しても、コードが期待するフィールドが存在するとは限りません。
対処法
レスポンス全体を確認し、必須フィールドは読み取る前に検証し、欠落した値や想定外の値は明示的に処理します。
このチュートリアルだけでは、レイテンシーを保証したり、クライアント側だけであらゆるタイムアウトの原因を特定したりすることはできません。
代わりに行うこと
リクエストの所要時間と機密性のないエラーの詳細を記録し、より小さい入力でテストし、モデルの最新の運用ガイダンスを確認してください。
Baseten の推論呼び出しが1回成功したら、検証済みの同じ入出力仕様を、実際に使用する環境に適用してください。
アプリケーション開発者
モデル固有のリクエスト生成処理は、サーバー側の1つのモジュールにまとめてください。アプリケーションに入力されたデータをモデルのペイロードに変換する前に検証し、推論が失敗した場合はアプリケーションレベルで予測可能なエラーを返します。これにより、コードベース全体に前提条件を分散させずに、モデルやリクエストのマッピングを変更できます。
モデル評価担当者
扱いにくい入力や境界的な入力を1つ含む、代表的なテストケースを少数用意してください。各結果を生成したモデルとリクエスト設定を記録します。Baseten の推論の動作を評価する際は、レスポンスが成功したことを品質スコアとみなさず、タスクの評価基準に照らして出力を比較してください。
運用チーム
デバッグに役立つ機密性のないリクエスト情報を選び、通常のログには認証情報や非公開の入力を保存しないでください。自社のアプリケーションの状況に合わせて、障害の種類とレスポンスの所要時間を追跡します。モデル、ペイロード、またはアプリケーション側のタイムアウト設定を変更した場合は、連携を再確認してください。
リクエストを検証しながら進めます。モデルを選び、最新の手順に従って小さな入力をテストし、結果を確認してからアプリケーションに組み込んでください。リンク先には、独自のアクセス要件やモデル固有のガイダンスがある場合があります。
アクセス可能なモデルを選び、最新の推論手順を確認します。スキーマに合った最小限の入力を用意し、サポートされているインターフェースからリクエストを1件送信してください。アプリケーションのロジックを接続する前に、レスポンス全体を確認します。
モデルの参照先、必要なアクセス方法、文書化された入力形式を確認してください。認証情報をクライアント側のコードに含めず、正常な出力だけでなくエラーも確認できるリクエストツールを使用します。
まず、アクセスの問題、ペイロードの不正、レスポンス処理の問題を切り分けます。モデルの参照先と入力フィールドを最新の手順と照らし合わせ、文書化された最小限の入力で再試行してください。
まず、成功したテストリクエストのレスポンスを確認し、アプリケーションに必要なフィールドを特定します。使用前にそれらのフィールドを検証し、値の欠落や想定外の値に対処してください。モデル固有の解析処理は1か所にまとめ、更新しやすくします。