Tutorial de inferência

Guia para desenvolvedores sobre como usar a inferência da baseten

Serviço de parceiro separado: /go abre o catálogo da API de inferência de IA para inferência com modelos existentes e acesso à API, não a implantação personalizada da Baseten nem um catálogo de LLMs. Faça login e confira os preços e a disponibilidade de cada modelo por lá.

Se você está aprendendo a usar a inferência da baseten, comece com um modelo ao qual tenha acesso e uma pequena entrada de teste. Este guia acompanha a solicitação desde a preparação até a verificação da resposta, sem pressupor um formato de entrada específico para o modelo.

Representação visual abstrata de um fluxo de trabalho de inferência de modelos

etapas numeradas

Siga esta sequência com um modelo e uma entrada representativa antes de conectar a inferência a uma aplicação maior.

  1. 1

    Escolha o modelo

    Identifique o modelo que pretende usar e leia as instruções atuais de entrada e saída. Um modelo de texto, um modelo de imagem e um modelo de embeddings podem exigir campos diferentes na solicitação.

  2. 2

    Envie um pequeno teste

    Use o método de acesso indicado para esse modelo, forneça os dados mínimos necessários em um formato válido e mantenha as credenciais fora dos arquivos de código-fonte e do código exposto no navegador.

  3. 3

    Examine o resultado

    Verifique se a solicitação foi bem-sucedida e examine os dados retornados antes de escrever código que pressuponha uma estrutura específica para a resposta.

etapas numeradas

Verifique estes requisitos antes de fazer sua primeira solicitação de inferência à Baseten; a documentação específica do modelo tem prioridade sobre um exemplo genérico.

Obrigatório Opcional
  • Identifique um modelo acessível e suas instruções de inferência atuais. — Registre o identificador ou endpoint do modelo exatamente como fornecido para o modelo escolhido.

  • Prepare o método de autenticação exigido pelo serviço que você vai usar. — Armazene qualquer informação secreta fora do código versionado e de aplicativos do lado do cliente.

  • Crie uma entrada que siga o esquema documentado do modelo. — Use um exemplo pequeno e representativo, em vez de um lote completo.

  • Escolha uma ferramenta que possa enviar uma solicitação e exibir a resposta completa. — Um cliente de API ou um script curto executado no servidor pode ajudar você a inspecionar o status e os campos retornados.

  • Prepare uma segunda entrada para comparação depois que a primeira solicitação funcionar.opcional — Um exemplo contrastante pode revelar suposições no seu código de processamento da resposta.

etapas numeradas

A primeira solicitação bem-sucedida deve comprovar que o modelo, a entrada e o código de processamento da resposta são compatíveis — não apenas que existe uma conexão.

1

Confirme o formato da requisição

Abra as instruções do modelo específico que você selecionou. Observe onde deve ficar a entrada, quais campos são obrigatórios e que tipo de saída é esperado. Não copie um payload de outro modelo só porque ele também roda na Baseten: usar o mesmo meio de transporte não significa que os modelos aceitem as mesmas entradas. Mantenha um breve registro local do modelo e do payload testados para facilitar o rastreamento de alterações posteriores.

2

Faça uma chamada controlada

Envie uma entrada mínima e válida pela interface compatível com esse modelo. Mantenha o primeiro teste de inferência na Baseten intencionalmente pequeno: uma amostra curta de texto para uma tarefa de texto ou um arquivo preparado adequadamente para um modelo que aceite outras mídias. Registre o status da requisição e qualquer mensagem de erro sem registrar dados secretos. Se a chamada falhar, altere uma variável por vez em vez de reescrever toda a integração.

3

Leia a saída antes de usá-la

Inspecione toda a estrutura retornada, não apenas o campo que você esperava receber. Verifique se a saída corresponde à entrada e se sua aplicação trata com segurança resultados vazios ou inesperados. Só depois dessa verificação você deve converter a resposta para seus próprios tipos ou para a interface do usuário. Repita o teste com uma segunda entrada para identificar suposições codificadas no programa.

Erros comuns e correções

Um guia genérico não consegue diagnosticar todos os modelos, mas estas verificações ajudam a identificar as classes mais comuns de falha de inferência.

1

O acesso foi negado

Uma requisição não pode ser bem-sucedida se as credenciais, a referência ao modelo ou as permissões de acesso estiverem incorretas. Não presuma que um erro significa que o modelo está indisponível.

O que fazer

Confira o método de acesso configurado e a referência ao modelo nas instruções atuais. Substitua uma credencial secreta exposta em vez de reutilizá-la.

2

A entrada é inválida

A Baseten não pode fazer um modelo interpretar campos ou mídias que não correspondam ao esquema documentado desse modelo. Uma requisição de rede válida ainda pode conter um payload inutilizável.

O que fazer

Reduza o payload a um exemplo documentado, confirme os nomes dos campos e os tipos de dados e, em seguida, restaure sua própria entrada parte por parte.

3

A resposta difere do esperado

Modelos diferentes podem retornar estruturas diferentes, e uma chamada bem-sucedida não garante que o campo esperado pelo seu código estará presente.

O que fazer

Inspecione a resposta completa, valide os campos obrigatórios antes de lê-los e trate explicitamente valores ausentes ou inesperados.

4

É difícil explicar uma chamada lenta ou com falha

Este tutorial não pode estabelecer uma garantia de latência nem identificar a causa de todos os timeouts apenas pelo lado do cliente.

O que fazer em vez disso

Registre o tempo das requisições e detalhes não confidenciais dos erros, teste uma entrada menor e consulte as orientações operacionais atuais do modelo.

dicas avançadas

Quando uma chamada de inferência do Baseten funcionar, adapte o mesmo contrato validado ao ambiente em que você vai usá-lo.

Desenvolvedores de aplicações

Crie uma interface estável para as chamadas ao modelo

Centralize a construção das requisições específicas do modelo em um único módulo no servidor. Valide os dados recebidos pela aplicação antes de convertê-los no payload do modelo e retorne um erro previsível no nível da aplicação quando a inferência falhar. Isso permite trocar o modelo ou o mapeamento das requisições sem espalhar suposições por toda a base de código.

  • Mantenha as credenciais em uma configuração protegida no servidor.
  • Valide tanto a entrada enviada quanto a saída recebida.
  • Teste o tratamento de erros, além das respostas bem-sucedidas.

Avaliadores de modelos

Compare as saídas usando entradas consistentes

Monte um pequeno conjunto de casos representativos, incluindo uma entrada difícil ou limítrofe. Registre qual modelo e qual configuração de requisição produziram cada resultado. Ao avaliar o comportamento da inferência do Baseten, compare as saídas com os critérios da sua tarefa, em vez de tratar o status de uma resposta bem-sucedida como uma medida de qualidade.

  • Use casos de teste reproduzíveis.
  • Mantenha os critérios de avaliação separados das verificações de transporte.
  • Analise as saídas inesperadas antes de automatizar decisões.

Equipes de operações

Torne as falhas observáveis sem expor dados

Decida quais detalhes não confidenciais das requisições são úteis para a depuração e evite armazenar credenciais ou entradas privadas nos logs de rotina. Acompanhe as categorias de falhas e o tempo de resposta no contexto da sua aplicação. Verifique novamente a integração quando alterar o modelo, o payload ou as configurações de timeout da aplicação.

  • Separe os erros de acesso dos erros de entrada inválida.
  • Evite registrar segredos ou dados sensíveis enviados nas requisições.
  • Teste novamente após alterações na configuração.

dicas avançadas

Use a abordagem de requisição verificada: escolha um modelo, siga as instruções atuais, teste uma entrada pequena e inspecione o resultado antes de integrá-lo a uma aplicação. O destino pode ter requisitos próprios de acesso e orientações específicas para o modelo.

Dê o próximo passo com a inferência de modelos

  • Comece com as especificações de requisição de um modelo específico.
  • Teste o processamento da saída antes de ampliar a escala.
  • Proteja as credenciais e os dados sensíveis de entrada.
Explore o catálogo de modelos da API de inferência de IA

Perguntas frequentes do tutorial

Escolha um modelo ao qual você tenha acesso e leia as instruções atuais de inferência. Prepare uma entrada mínima que corresponda ao esquema do modelo, envie uma requisição pela interface compatível e inspecione a resposta completa antes de conectar a lógica da aplicação.

Confirme a referência do modelo, o método de acesso exigido e o formato de entrada documentado. Não inclua credenciais no código do lado do cliente e use uma ferramenta de requisições que permita inspecionar tanto os erros quanto as saídas bem-sucedidas.

Comece distinguindo um problema de acesso de uma entrada inválida ou de um problema no processamento da resposta. Compare a referência do modelo e os campos de entrada com as instruções atuais e tente novamente com a menor entrada documentada possível.

Primeiro, inspecione a resposta de uma requisição de teste bem-sucedida e identifique os campos de que sua aplicação realmente precisa. Valide esses campos antes de usá-los, trate valores ausentes ou inesperados e mantenha o processamento específico de cada modelo em um único lugar para facilitar atualizações.

Documentação
Documentação