Engenheiro de Dados - Pleno

Vamos buscar o extraordinário juntos? 🚀

Nosso Data Lakehouse no Google Cloud já é uma realidade. O próximo passo da nossa evolução é a eficiência e a escalabilidade das transformações de dados.

Estamos buscando um Engenheiro de Dados Pleno com perfil hands-on para atuar em duas frentes principais:

Modernização da Orquestração: Migrar nossos fluxos de Airflow para Prefect, garantindo observabilidade e tratamento de falhas modernas.

Maturidade em dbt: Elevar o nível do nosso projeto dbt. Não queremos apenas rodar SQL; queremos aproveitar todo o potencial da ferramenta (Macros, Jinja, Testes Automatizados, Documentação e CI/CD).

Nossos princípios

1. Falamos de pessoa para pessoa
2. Buscamos o extraordinário
3. Damos vida à inovação
4. Nos fortalecemos com a transparência

O seu papel será:

• Engenharia de Analytics (dbt): Refatorar e evoluir o projeto dbt, implementando boas práticas como macros reutilizáveis (Jinja), materializações incrementais eficientes e documentação de linhagem.
• Qualidade de Dados (Data Quality): Implementar testes automáticos (dbt tests / packages) para garantir a confiabilidade dos dados na ponta, impedindo que dados ruins cheguem aos dashboards.
• Orquestração Moderna: Realizar a migração técnica dos pipelines de Airflow para Prefect, integrando a execução dos modelos dbt dentro de fluxos resilientes.
• Otimização de BigQuery: Atuar no tunning de queries e modelos de dados para reduzir custos de processamento (FinOps) e melhorar a performance de entrega.
• Sustentação e CI/CD: Manter as esteiras de deploy automatizado para dados, garantindo que alterações no dbt ou no Prefect passem por validações antes da produção.

O que esperamos que você tenha:

• Domínio de dbt (Core ou Cloud): Experiência comprovada indo além do básico. Você deve entender bem de estratégias de materialização (incremental, view, ephemeral), snapshots, seeds e testes.
• Google Cloud Platform (BigQuery): Proficiência em SQL para BigQuery (Partitioning, Clustering, Nested Fields).
• Python Sólido: Capacidade de escrever scripts limpos e modulares, essencial para trabalhar com o Prefect.
• Orquestração: Experiência com Airflow (para entender o legado) e desejo/experiência em trabalhar com Prefect.
• Git e Versionamento: Fluxo de trabalho colaborativo (Pull Requests, Code Review) é mandatório.

Você vai se destacar se tiver:

• Experiência implementando dbt Slim CI (Integração Contínua otimizada).
• Conhecimento avançado em Jinja Templating.
• Experiência migrando workflows de Airflow para Prefect.
• Conhecimento de ferramentas de "Data Observability".
• Conhecimento em BigData e soluções de paralelismo.
• Conhecimento com processamento Real-time.
• Conhecimento em soluções de Infraestrutura de Cloud (Kubernetes, CloudRun, CloudFunctions).
• Experiência em data stack na GCP.