Especialista em LLM e Prompt Engineering

Este especialista terá a missão de elevar agentes de IA já prototipados ao nível de soluções robustas em produção, integrando LLM e dados reais da empresa. Será responsável por definir e aplicar técnicas avançadas de engenharia de prompt e estratégias de interação com LLMs para melhorar a precisão, consistência e controlabilidade das respostas desses agentes. O foco do papel é garantir que os agentes forneçam respostas úteis e seguras, alinhadas aos objetivos do negócio, por meio de prompts bem elaborados, uso de funções auxiliares e monitoramento contínuo do desempenho dos modelos em ambiente de produção.

• Implementar e gerenciar o deploy de modelos de linguagem (como APIs do OpenAI, modelos locais via Ollama ou outras plataformas), garantindo integração perfeita dos LLMs à nossa plataforma.

• Projetar, testar e otimizar prompts avançados para os agentes de IA, utilizando técnicas de prompt engineering (ex.: exemplos few-shot, chain-of-thought prompting) para guiar o raciocínio do modelo e controlar o formato/estilo das respostas conforme as necessidades de cada caso de uso.

• Desenvolver estratégias para incorporar funções auxiliares ou ferramentas de apoio ao LLM – por exemplo, integrações que permitam ao agente buscar dados em bases de conhecimento, executar cálculos ou consultar APIs externas – ampliando as capacidades dos agentes além do texto livre.

• Aplicar métodos de avaliação automatizada e humana da qualidade das respostas dos agentes: definir métricas objetivas (precisão, relevância, utilidade), implementar testes A/B de diferentes variantes de prompt/modelo e coordenar ciclos de feedback com usuários para melhoria contínua.

• Monitorar ativamente o desempenho dos modelos em produção (observabilidade do comportamento dos LLMs), criando logs e dashboards que rastreiem taxas de sucesso, tempos de resposta, custos de API e ocorrências de erros ou respostas indesejadas, a fim de identificar rapidamente oportunidades de ajuste.

• Colaborar com o Engenheiro de Arquitetura de Sistemas e Dados e com o Engenheiro de Dados para assegurar que os agentes de IA estejam utilizando dados atualizados e corretos, configurando pipelines de dados que alimentem o contexto dos modelos (por exemplo, implementação de RAG com base no data lake da empresa, quando aplicável).

• Refinar os agentes de IA existentes, transformando-os em produtos estáveis: ajustar prompts e parâmetros do modelo para melhorar a exatidão das respostas, evitar ambiguidades e garantir consistência no tom e nas políticas definidas (incluindo filtros de segurança e conformidade nas respostas).

• Executar testes rigorosos de comportamento dos agentes antes de cada release, incluindo cenários de borda e tentativas de uso indevido (prompt injection, perguntas capciosas), afinando os prompts ou adicionando validações para garantir robustez e segurança das interações em produção.

• Documentar as abordagens de prompt engineering adotadas, criando diretrizes reutilizáveis para desenvolvimento de futuros agentes de IA e contribuindo para o conhecimento interno da empresa em técnicas de LLM.

• Acompanhar as evoluções na área de IA generativa e LLMs (novos modelos, técnicas de prompt, ferramentas de avaliação) para incorporar as melhores práticas e manter os agentes atualizados com o estado da arte da tecnologia.

• Experiência prática comprovada com implementação e integração de modelos de linguagem em aplicações do mundo real – por exemplo, ter trabalhado com APIs de serviços como OpenAI, Azure/GCP AI, ou implantado modelos open-source (GPT-Neo, LLaMA ou similares) em ambiente de produção.

• Domínio de técnicas de prompt engineering: capacidade de escrever prompts eficazes para diferentes objetivos, ajustar o tom e estilo das respostas, usar instruções de sistema vs. usuário apropriadamente e aplicar estratégias como cadeia de raciocínio (chain-of-thought) para melhorar a qualidade das respostas do modelo.

• Familiaridade com ferramentas e frameworks voltados a LLM Ops, tais como bibliotecas de orquestração de prompts (LangChain, LlamaIndex etc.) e metodologias de avaliação de respostas de IA (uso de datasets de teste, métricas de similaridade, detecção de alucinações).

• Conhecimentos de avaliação de desempenho de modelos: saber configurar experimentos A/B, coletar feedback de usuários e medir melhorias ou regressões nas respostas do modelo de forma quantitativa.

• Habilidade de programar em linguagens comumente usadas em IA (Python etc.) para implementar pipelines de chamada aos modelos, processar resultados e integrar os outputs do LLM com o restante da plataforma (por exemplo, pós-processamento das respostas, chamadas a APIs adicionais).

• Entendimento de conceitos de observabilidade e segurança em IA: monitoração do uso dos modelos (logs de consultas e resultados), identificação de respostas inadequadas, e aplicação de filtros ou ajustes nos prompts para evitar vazamento de informações sensíveis ou viés indesejado.

• Boa base em Processamento de Linguagem Natural (PLN), entendendo limitações e capacidades de modelos de linguagem, e noções de como dados de treinamento ou ajustes finos podem impactar as respostas.

• Graduação em Ciência da Computação, Engenharia,Fisica, Estatística ou área relacionada (ou experiência profissional equivalente), com capacidade de ler artigos técnicos e aplicar novas técnicas de IA conforme necessário.

• Perfil analítico e metódico, com atenção a detalhes na formulação de prompts e análise crítica das respostas do modelo, além de boa comunicação para traduzir necessidades do produto em configurações técnicas de LLM.

Diferenciais Desejáveis:

• Experiência específica com chain-of-thought prompting e implementação de pipelines multi-etapas com LLMs (por exemplo, agentes que dividem tarefas complexas em etapas de raciocínio estruturado).

• Conhecimento de técnicas de fine-tuning de modelos de linguagem ou uso de RLHF (Reinforcement Learning from Human Feedback) para ajustar modelos customizados, mesmo que a ênfase atual seja em prompt engineering.

• Familiaridade com bases de conhecimento e bancos de vetores para fornecer contexto às respostas dos LLMs, bem como com técnicas de Retrieval-Augmented Generation (RAG) para melhoria da qualidade e atualidade das informações fornecidas pelos agentes.

• Vivência em projetos envolvendo avaliação humana de IA (human in the loop), elaboração de guidelines de resposta e moderação de conteúdo gerado por IA para alinhamento com políticas da empresa.

• Contribuições ou participação ativa em comunidades de IA (Kaggle, fóruns técnicos, projetos open-source), indicando paixão por manter-se atualizado(a) na área.

• Inglês avançado, dada a rápida evolução do campo de LLMs e a necessidade de acompanhar documentação e pesquisas internacionais em prompt engineering e NLP.

• Experiencia com framework do crewai.