Visão geral da plataforma

Na prática, o que a baseten faz pelas equipes de IA?

Serviço de parceiro separado: /go abre o catálogo do provedor para inferência com modelos existentes e acesso à API, não para implantações personalizadas da Baseten nem para um catálogo de LLMs. Faça login e confira os preços e a disponibilidade de cada modelo por lá.

Se você está se perguntando o que a baseten faz, a resposta curta é que a Baseten fornece infraestrutura para implantar e disponibilizar modelos de IA. Ela ajuda as equipes a transformar um modelo em um serviço de inferência acessível por aplicativos, sem que precisem construir toda a camada de serviço por conta própria.

Ilustração da página inicial da Baseten

Definição em uma frase

Baseten é uma plataforma de infraestrutura de IA voltada a colocar modelos para funcionar em aplicativos. Sua função central é disponibilizar modelos: receber solicitações, executar um modelo e retornar resultados.

Leitura de 4 min

Como funciona

A disponibilização de modelos conecta um modelo existente ao software que precisa de suas previsões ou dos resultados que ele gera. A configuração exata depende do modelo e da aplicação.

  1. 1

    Prepare o modelo

    Uma equipe escolhe o modelo que deseja executar e define os requisitos de entrada e saída. Um modelo de texto, por exemplo, exige um formato de solicitação diferente do de um modelo de imagem.

  2. 2

    Implante um endpoint para disponibilizar o modelo

    O modelo é disponibilizado por meio de uma infraestrutura de inferência. Essa infraestrutura cuida das operações necessárias para receber solicitações e executar o modelo implantado.

  3. 3

    Conecte a aplicação

    O código da aplicação envia dados de entrada ao endpoint e usa o resultado retornado. A equipe ainda precisa testar a qualidade das respostas, tratar erros e monitorar se os resultados atendem às suas necessidades.

O que pode e não pode fazer

A Baseten pode fornecer uma camada de disponibilização de modelos, mas disponibilizar um modelo não é o mesmo que escolhê-lo, avaliá-lo ou estabelecer sua governança. Estes são os requisitos práticos de um projeto de inferência.

Obrigatório Opcional
  • Uma tarefa definida e um modelo adequado para ela — A infraestrutura não determina se um modelo fornece respostas úteis ou confiáveis.

  • Dados de entrada e saídas esperadas que sua aplicação consiga processar — A aplicação precisa saber o que enviar e como usar ou rejeitar uma resposta.

  • Um plano para testar a qualidade, as falhas e o tratamento dos dados — A implantação não substitui a avaliação nem a análise de informações sensíveis.

  • Funcionalidades personalizadas da aplicação relacionadas ao modeloopcional — Uma interface de usuário ou um fluxo de trabalho empresarial pode ser necessário, mas é separado da disponibilização do modelo para inferência.

Quem usa

A Baseten é mais relevante para equipes que desenvolvem software que faz chamadas a modelos de IA do que para pessoas que procuram um aplicativo pronto de chat ou edição de imagens.

Ilustração da infraestrutura de IA Desenvolvimento da aplicação

Etapa 1

Desenvolvedores de aplicações

Um desenvolvedor pode precisar de um serviço de backend que receba uma solicitação da aplicação, faça uma chamada a um modelo e retorne um resultado ao usuário. A Baseten cuida da parte desse fluxo responsável por disponibilizar o modelo. A interface, as mensagens de erro e a decisão de quando chamar o modelo continuam sendo responsabilidades do desenvolvimento da aplicação.

  • Conecte o código da aplicação à inferência do modelo
  • Defina o que acontece quando uma solicitação falha
Ilustração de um fluxo de trabalho de implantação de modelos Operações de modelos

Etapa 2

Equipes de aprendizado de máquina e de plataforma

Essas equipes podem ter um modelo que desejam disponibilizar para outros serviços. A Baseten oferece infraestrutura a ser considerada para implantação e inferência, enquanto elas continuam responsáveis por selecionar o modelo, verificar seu comportamento e decidir se ele atende aos requisitos da organização. Essa divisão importa na hora de transformar um experimento promissor em uma aplicação confiável.

  • Disponibilize um modelo para outros serviços
  • Avalie os resultados em relação à tarefa pretendida

Explore a infraestrutura de IA

Entender o que a Baseten faz pode ajudar você a distinguir a disponibilização do modelo do próprio modelo e da aplicação construída em torno dele. Se você estiver explorando ferramentas de IA de forma mais ampla, o link abaixo abre o provedor, um serviço separado; ele não é um console de implantação da Baseten.

Dê o próximo passo com ferramentas de IA

  • Identifique a tarefa que seu modelo precisa executar
  • Confira os recursos do serviço de destino antes de compartilhar dados
Explore o catálogo de modelos do provedor

Perguntas frequentes

A Baseten fornece infraestrutura para implantar e disponibilizar modelos de IA. Na prática, ela ajuda equipes a disponibilizar um modelo para solicitações de inferência feitas por suas aplicações.

Disponibilizar um modelo e desenvolver uma aplicação são tarefas diferentes. A Baseten cuida da infraestrutura usada para executar um modelo, enquanto a equipe que desenvolve a aplicação decide como os usuários interagem com ela e como os resultados do modelo são tratados.

Não. A implantação torna a inferência possível, mas a saída do modelo ainda precisa ser testada em relação à tarefa pretendida. As equipes devem avaliar a qualidade, os casos de falha e quaisquer requisitos para o tratamento de dados.

Uma aplicação envia uma solicitação de inferência com uma entrada adequada ao modelo implantado. O modelo gera uma saída que a aplicação pode processar ou mostrar a um usuário; a entrada e a saída específicas dependem do modelo.

Documentação
Documentação