プラットフォームの概要

実際のところ、basetenはAIチームに何を提供する?

別のパートナーサービス: /goでは、BasetenのカスタムデプロイやLLMカタログではなく、既存モデルの推論とAPIアクセスを提供するプロバイダーのカタログが開きます。サインインして、モデルごとの料金と利用可否を確認してください。

basetenは何をするのかという質問への短い答えは、BasetenはAIモデルのデプロイと提供のためのインフラを提供する、というものです。チームが提供基盤を一から構築しなくても、モデルをアプリケーションから利用できる推論サービスにするのを支援します。

Basetenのランディングページのイラスト

一文での定義

Basetenは、アプリケーションでAIモデルを活用することに特化したAIインフラプラットフォームです。中心となる役割は、リクエストを受け取り、モデルを実行し、結果を返すモデル提供です。

読了まで4 min

仕組み

モデル提供は、既存のモデルを、その予測結果や生成結果を必要とするソフトウェアに接続します。具体的な構成はモデルとアプリケーションによって異なります。

  1. 1

    モデルを準備する

    チームは実行するモデルを選び、入力と出力の要件を決めます。たとえば、テキストモデルに必要なリクエスト形式は画像モデルとは異なります。

  2. 2

    提供用エンドポイントをデプロイする

    モデルは推論インフラを通じて利用できるようになります。このインフラは、リクエストの受け付けやデプロイされたモデルの実行といった運用を担います。

  3. 3

    アプリケーションを接続する

    アプリケーションコードはエンドポイントに入力を送信し、返された出力を利用します。チームは引き続き、応答品質のテスト、エラーへの対応、結果が要件を満たしているかの監視を行う必要があります。

できることとできないこと

Basetenはモデルを提供するための基盤を提供できますが、モデルの提供は、モデルの選定、評価、ガバナンスとは異なります。以下は推論プロジェクトに伴う実務上の要件です。

必須 任意
  • 明確に定義されたタスクと、そのタスクに適したモデル — インフラだけでは、モデルが有用で信頼できる回答を返すかどうかは判断できません。

  • アプリケーションが処理できる入力と想定される出力 — アプリケーションは、何を送信し、応答をどう利用または拒否するかを把握している必要があります。

  • 品質、障害、データの取り扱いをテストする計画 — デプロイは、評価や機密情報の取り扱いに関する確認の代わりにはなりません。

  • モデルを利用するカスタムアプリケーション機能任意 — ユーザーインターフェースや業務ワークフローが必要な場合もありますが、それらは推論の提供とは別のものです。

利用者

Basetenは、完成済みのチャットアプリや画像編集アプリを探している人よりも、AIモデルを呼び出すソフトウェアを開発するチームに適しています。

AIインフラストラクチャのイラスト アプリケーション開発

ステップ1

アプリケーション開発者

開発者には、アプリケーションからのリクエストを受け付け、モデルを呼び出し、結果をユーザーに返すバックエンドサービスが必要になる場合があります。Basetenが担うのは、その一連の処理のうちモデルの提供に関わる部分です。周辺のインターフェースやエラーメッセージ、いつモデルを呼び出すかの判断は、引き続きアプリケーション開発側の仕事です。

  • アプリケーションコードをモデル推論に接続する
  • リクエストが失敗した場合の対応を設計する
モデルのデプロイワークフローのイラスト モデル運用

ステップ2

機械学習チームとプラットフォームチーム

こうしたチームは、他のサービスから利用できるようにしたいモデルを持っている場合があります。Basetenはデプロイと推論のために検討できるインフラを提供します。一方で、モデルの選定、動作の検証、組織の要件を満たすかどうかの判断は、引き続きチームが担います。有望な実験を信頼できるアプリケーションへと発展させる際には、この役割分担が重要です。

  • モデルを他のサービスから利用できるようにする
  • 目的のタスクに照らして出力を評価する

AIインフラを探る

Basetenの役割を理解すると、モデルの提供と、その周囲にあるモデルやアプリケーションを区別しやすくなります。AIツールを幅広く探している場合、以下のリンクから別サービスのプロバイダーにアクセスできます。Basetenのデプロイ用コンソールではありません。

AIツールで次のステップへ

  • モデルに実行させたいタスクを明確にする
  • データを共有する前に、リンク先サービスの機能を確認する
プロバイダーのモデルカタログを見る

よくある質問

Basetenは、AIモデルのデプロイと提供のためのインフラを提供します。実際には、チームがアプリケーションからの推論リクエストにモデルで応答できるよう支援します。

モデルの提供とアプリケーション開発は異なる仕事です。Basetenはモデルを動かすためのインフラを担い、ユーザーがモデルとどうやり取りするか、出力をどう扱うかは、アプリケーションを開発するチームが決めます。

いいえ。デプロイによって推論は可能になりますが、モデルの出力が意図したタスクに適しているかは、引き続きテストする必要があります。チームは品質、失敗するケース、データの取り扱いに関する要件を評価しなければなりません。

アプリケーションは、デプロイされたモデルに適した入力を含む推論リクエストを送信します。モデルが生成した出力は、アプリケーションが処理したり、ユーザーに表示したりできます。具体的な入力と出力はモデルによって異なります。

ドキュメント
ドキュメント