Data Engineer - Python / Azure

Campinas de 1 a 2 vezes por semana Inglês avançado Projetar, desenvolver e manter pipelines ETL para ServiceNow e outras fontes de dados operacionais. Crie e mantenha modelos de dados e conjuntos de dados para análise e Business Intelligence (BI). Implemente verificações de qualidade de dados, reconciliação e monitoramento para garantir resultados precisos e confiáveis. Desenvolva cargas incrementais de dados e lide com paginação de API, limites de taxa, novas tentativas e falhas. Colaborar com partes interessadas técnicas e empresariais para traduzir os requisitos de relatórios em soluções de dados. Documentar fontes de dados, transformações, definições de métricas e dependências de pipeline. Contribua para pipelines de CI/CD e melhore a confiabilidade e a manutenibilidade das soluções de dados. Proficiência em Python e SQL. Experiência prática na construção e manutenção de pipelines ETL ou ELT. Experiência em integração de dados de APIs REST e bancos de dados relacionais. Compreensão da modelagem de dados para análise e relatórios. Experiência na implementação de validação de dados, tratamento de erros e monitoramento de pipeline. Conhecimento prático do Git. Experiência com Microsoft Azure e seus serviços de dados. Experiência com APIs ServiceNow e dados operacionais, incluindo incidentes e solicitações de serviço. Experiência na construção de pipelines ETL usando Databricks e Spark. Familiaridade com Power BI e preparação de conjuntos de dados para consumo de BI. Experiência com Azure DevOps e CI/CD para pipelines de dados. Experiência na implementação de registro e monitoramento com ferramentas como o Datadog. Familiaridade com Infraestrutura como Código, particularmente Terraform. Experiência em lidar com alterações de esquema, dados históricos e preenchimentos de pipeline. Em toda a empresa, usamos Azure, Azure DevOps, Azure Repos, Python, SQL, Databricks, Spark, Power BI, Datadog, PostgreSQL.