アプリケーション開発
ステップ1
アプリケーション開発者
開発者には、アプリケーションからのリクエストを受け付け、モデルを呼び出し、結果をユーザーに返すバックエンドサービスが必要になる場合があります。Basetenが担うのは、その一連の処理のうちモデルの提供に関わる部分です。周辺のインターフェースやエラーメッセージ、いつモデルを呼び出すかの判断は、引き続きアプリケーション開発側の仕事です。
- アプリケーションコードをモデル推論に接続する
- リクエストが失敗した場合の対応を設計する
プラットフォームの概要
別のパートナーサービス: /goでは、BasetenのカスタムデプロイやLLMカタログではなく、既存モデルの推論とAPIアクセスを提供するプロバイダーのカタログが開きます。サインインして、モデルごとの料金と利用可否を確認してください。
basetenは何をするのかという質問への短い答えは、BasetenはAIモデルのデプロイと提供のためのインフラを提供する、というものです。チームが提供基盤を一から構築しなくても、モデルをアプリケーションから利用できる推論サービスにするのを支援します。
Basetenは、アプリケーションでAIモデルを活用することに特化したAIインフラプラットフォームです。中心となる役割は、リクエストを受け取り、モデルを実行し、結果を返すモデル提供です。
目的Basetenは、アプリケーションから呼び出せるサービスとしてAIモデルをデプロイするのを支援します。
この定義は出発点です。以下のガイドでは、プラットフォームへのアクセス方法、推論ワークフローの進め方、データを送信する前に確認すべき点を取り上げます。
モデル提供は、既存のモデルを、その予測結果や生成結果を必要とするソフトウェアに接続します。具体的な構成はモデルとアプリケーションによって異なります。
チームは実行するモデルを選び、入力と出力の要件を決めます。たとえば、テキストモデルに必要なリクエスト形式は画像モデルとは異なります。
モデルは推論インフラを通じて利用できるようになります。このインフラは、リクエストの受け付けやデプロイされたモデルの実行といった運用を担います。
アプリケーションコードはエンドポイントに入力を送信し、返された出力を利用します。チームは引き続き、応答品質のテスト、エラーへの対応、結果が要件を満たしているかの監視を行う必要があります。
Basetenはモデルを提供するための基盤を提供できますが、モデルの提供は、モデルの選定、評価、ガバナンスとは異なります。以下は推論プロジェクトに伴う実務上の要件です。
明確に定義されたタスクと、そのタスクに適したモデル — インフラだけでは、モデルが有用で信頼できる回答を返すかどうかは判断できません。
アプリケーションが処理できる入力と想定される出力 — アプリケーションは、何を送信し、応答をどう利用または拒否するかを把握している必要があります。
品質、障害、データの取り扱いをテストする計画 — デプロイは、評価や機密情報の取り扱いに関する確認の代わりにはなりません。
モデルを利用するカスタムアプリケーション機能任意 — ユーザーインターフェースや業務ワークフローが必要な場合もありますが、それらは推論の提供とは別のものです。
Basetenは、完成済みのチャットアプリや画像編集アプリを探している人よりも、AIモデルを呼び出すソフトウェアを開発するチームに適しています。
アプリケーション開発
ステップ1
開発者には、アプリケーションからのリクエストを受け付け、モデルを呼び出し、結果をユーザーに返すバックエンドサービスが必要になる場合があります。Basetenが担うのは、その一連の処理のうちモデルの提供に関わる部分です。周辺のインターフェースやエラーメッセージ、いつモデルを呼び出すかの判断は、引き続きアプリケーション開発側の仕事です。
モデル運用
ステップ2
こうしたチームは、他のサービスから利用できるようにしたいモデルを持っている場合があります。Basetenはデプロイと推論のために検討できるインフラを提供します。一方で、モデルの選定、動作の検証、組織の要件を満たすかどうかの判断は、引き続きチームが担います。有望な実験を信頼できるアプリケーションへと発展させる際には、この役割分担が重要です。
Basetenの役割を理解すると、モデルの提供と、その周囲にあるモデルやアプリケーションを区別しやすくなります。AIツールを幅広く探している場合、以下のリンクから別サービスのプロバイダーにアクセスできます。Basetenのデプロイ用コンソールではありません。
Basetenは、AIモデルのデプロイと提供のためのインフラを提供します。実際には、チームがアプリケーションからの推論リクエストにモデルで応答できるよう支援します。
モデルの提供とアプリケーション開発は異なる仕事です。Basetenはモデルを動かすためのインフラを担い、ユーザーがモデルとどうやり取りするか、出力をどう扱うかは、アプリケーションを開発するチームが決めます。
いいえ。デプロイによって推論は可能になりますが、モデルの出力が意図したタスクに適しているかは、引き続きテストする必要があります。チームは品質、失敗するケース、データの取り扱いに関する要件を評価しなければなりません。
アプリケーションは、デプロイされたモデルに適した入力を含む推論リクエストを送信します。モデルが生成した出力は、アプリケーションが処理したり、ユーザーに表示したりできます。具体的な入力と出力はモデルによって異なります。