Tutorial de inferência
Se você está aprendendo a usar a inferência do baseten, comece com um modelo ao qual tenha acesso e uma entrada de teste pequena. Este guia acompanha a solicitação desde a preparação até a verificação da resposta, sem presumir um formato de entrada específico para o modelo.
Siga esta sequência com um modelo e uma entrada representativa antes de conectar a inferência a uma aplicação maior.
Identifique o modelo que você pretende chamar e leia as instruções atuais sobre suas entradas e saídas. Modelos de texto, imagem e embeddings podem exigir campos diferentes nas solicitações.
Use o método de acesso indicado para esse modelo, forneça um conjunto mínimo de dados válido e não inclua credenciais em arquivos de código-fonte nem em código exposto no navegador.
Verifique se a solicitação foi bem-sucedida e examine os dados retornados antes de escrever código que pressuponha uma estrutura específica para a resposta.
Confira estes requisitos antes de fazer sua primeira solicitação de inferência à Baseten; a documentação específica do modelo tem prioridade sobre um exemplo genérico.
Identifique um modelo acessível e suas instruções atuais de inferência. — Registre o identificador ou endpoint do modelo exatamente como fornecido para o modelo escolhido.
Prepare o método de autenticação exigido pelo serviço que você vai chamar. — Armazene qualquer segredo fora do código versionado e de aplicativos do lado do cliente.
Crie uma entrada que siga o esquema documentado do modelo. — Use um exemplo pequeno e representativo em vez de um lote completo.
Escolha uma ferramenta que possa enviar uma requisição e exibir a resposta completa. — Um cliente de API ou um script curto executado no servidor pode ajudar você a inspecionar o status e os campos retornados.
Prepare uma segunda entrada para comparação depois que a primeira requisição funcionar.opcional — Um exemplo contrastante pode revelar suposições no seu código de processamento da resposta.
Estes guias relacionados oferecem contexto se você ainda estiver decidindo onde a inferência se encaixa ou o que verificar antes da implantação.
A primeira requisição bem-sucedida deve comprovar que o modelo, a entrada e o código de processamento da resposta estão alinhados — não apenas que a conexão existe.
1
Abra as instruções do modelo específico que você selecionou. Observe onde inserir a entrada, quais campos são obrigatórios e que tipo de saída é esperado. Não copie o payload de outro modelo só porque ele também é executado na Baseten: usar o mesmo meio de comunicação não significa que os modelos aceitem as mesmas entradas. Mantenha um breve registro local do modelo e do payload testados para facilitar o rastreamento de alterações posteriores.
2
Envie uma entrada mínima e válida pela interface compatível com esse modelo. Mantenha o primeiro teste de inferência da Baseten deliberadamente pequeno: uma amostra curta de texto para uma tarefa de texto ou um recurso devidamente preparado para um modelo que aceita outras mídias. Registre o status da requisição e qualquer mensagem de erro sem registrar segredos. Se a chamada falhar, altere uma variável por vez em vez de reescrever toda a integração.
3
Inspecione toda a estrutura retornada, não apenas o campo que você esperava receber. Verifique se a saída corresponde à entrada e se resultados vazios ou inesperados são tratados com segurança pela sua aplicação. Só depois dessa verificação você deve mapear a resposta para seus próprios tipos ou para a interface do usuário. Repita o teste com uma segunda entrada para identificar suposições rígidas no código.
Um guia genérico não consegue diagnosticar todos os modelos, mas estas verificações ajudam a identificar as causas mais comuns de falhas de inferência.
Uma requisição não pode ser bem-sucedida se as credenciais, a referência ao modelo ou as permissões de acesso estiverem incorretas. Não presuma que um erro significa que o modelo está indisponível.
O que fazer em vez disso
Confira o método de acesso configurado e a referência ao modelo nas instruções atuais. Substitua uma credencial secreta exposta em vez de reutilizá-la.
A Baseten não pode fazer um modelo interpretar campos ou mídias que não correspondam ao esquema documentado desse modelo. Uma requisição de rede válida ainda pode conter dados de entrada inutilizáveis.
O que fazer em vez disso
Reduza os dados de entrada a um exemplo documentado, confirme os nomes dos campos e os tipos de dados e, depois, reintroduza sua própria entrada parte por parte.
Modelos diferentes podem retornar estruturas diferentes, e uma chamada bem-sucedida não garante que o campo esperado pelo seu código esteja presente.
O que fazer em vez disso
Inspecione a resposta completa, valide os campos obrigatórios antes de lê-los e trate explicitamente valores ausentes ou inesperados.
Este tutorial não pode garantir a latência nem identificar a causa de todos os tempos limite apenas pelo lado do cliente.
O que fazer em vez disso
Registre o tempo das requisições e detalhes não sensíveis dos erros, teste uma entrada menor e consulte as orientações operacionais atuais do modelo.
Depois que uma chamada de inferência da Baseten funcionar, adapte o mesmo contrato verificado ao ambiente em que você vai usá-lo.
Desenvolvedores de aplicações
Mantenha a construção de requisições específicas do modelo em um único módulo no servidor. Valide os dados recebidos pela aplicação antes de convertê-los no payload do modelo e retorne um erro previsível no nível da aplicação quando a inferência falhar. Assim, é possível trocar um modelo ou o mapeamento de suas requisições sem espalhar pressupostos por toda a base de código.
Avaliadores de modelos
Monte um pequeno conjunto de casos representativos, incluindo uma entrada atípica ou limítrofe. Registre qual modelo e qual configuração de requisição produziram cada resultado. Ao avaliar o comportamento da inferência da Baseten, compare as saídas com os critérios da sua tarefa, em vez de tratar um status de resposta bem-sucedida como indicador de qualidade.
Equipes de operações
Decida quais detalhes não sensíveis das requisições são úteis para a depuração e evite armazenar credenciais ou entradas privadas nos logs de rotina. Acompanhe as categorias de falha e o tempo de resposta no contexto da sua aplicação. Verifique novamente a integração ao alterar o modelo, o payload ou as configurações de tempo limite da aplicação.
Use a abordagem de solicitação verificada: escolha um modelo, siga as instruções atuais dele, teste uma entrada pequena e examine o resultado antes de integrá-lo a uma aplicação. O destino pode ter seus próprios requisitos de acesso e orientações específicas para o modelo.
Escolha um modelo ao qual você tenha acesso e leia as instruções atuais de inferência dele. Prepare uma entrada mínima que corresponda ao esquema do modelo, envie uma solicitação pela interface compatível e examine a resposta completa antes de conectar a lógica da aplicação.
Confirme a referência do modelo, o método de acesso necessário e o formato de entrada documentado. Não inclua credenciais no código do lado do cliente e use uma ferramenta de solicitação que permita examinar tanto os erros quanto as saídas bem-sucedidas.
Comece distinguindo um problema de acesso de uma entrada inválida ou de um problema no processamento da resposta. Compare a referência do modelo e os campos de entrada com as instruções atuais e tente novamente com a menor entrada documentada que puder usar.
Primeiro, examine a resposta de uma solicitação de teste bem-sucedida e identifique os campos de que sua aplicação realmente precisa. Valide esses campos antes de usá-los, trate valores ausentes ou inesperados e mantenha o processamento específico do modelo em um só lugar para facilitar atualizações.