Engenheiro de Dados SR

Descrição do Cargo

• Principais responsabilidades
  • Desenvolver, manter e otimizar pipelines de dados para ingestão, processamento, transformação e disponibilização de informações.
  • Desenvolver consultas e scripts SQL avançados para transformação, consolidação e processamento de grandes volumes de dados no Google BigQuery.
  • Construir e manter tabelas analíticas, estruturando dados de diferentes fontes para consumo por aplicações e sistemas internos.
  • Desenvolver processos automatizados de carga e atualização de dados, incluindo rotinas incrementais, cargas históricas e reprocessamentos.
  • Implementar e manter fluxos de processamento e dependências utilizando ferramentas de orquestração, como Apache Airflow.
  • Desenvolver scripts em Python para automação de rotinas, integração entre sistemas e processamento de dados.
  • Integrar diferentes fontes de dados, garantindo consistência, integridade e padronização das informações.
  • Implementar mecanismos de validação, testes e monitoramento para identificar falhas, inconsistências e atrasos no processamento.
  • Investigar e corrigir problemas relacionados à execução de pipelines, divergências de dados e falhas de integração.
  • Otimizar consultas, estruturas de tabelas e processos de processamento, buscando melhorar desempenho e reduzir custos computacionais.
  • Aplicar boas práticas de particionamento, clusterização, versionamento de código e organização dos ativos de dados.
  • Desenvolver documentação técnica dos pipelines, tabelas, regras de transformação e dependências entre processos.
  • Contribuir para a evolução da arquitetura de dados, identificando oportunidades de automação, padronização e melhoria contínua.
  • Garantir a confiabilidade e a disponibilidade dos dados utilizados pelos sistemas e processos da companhia.
  Requisitos técnicos
  • Experiência sólida em Engenharia de Dados e desenvolvimento de pipelines em ambientes produtivos.
  • Domínio de SQL avançado e experiência com Google BigQuery.
  • Experiência com Python aplicado à automação e ao processamento de dados.
  • Experiência com ferramentas de orquestração, preferencialmente Apache Airflow.
  • Conhecimento de modelagem de dados e estruturação de tabelas analíticas.
  • Experiência com processos ETL/ELT, cargas incrementais e reprocessamento de dados.
  • Conhecimento de otimização de consultas, particionamento, clusterização e controle de custos.
  • Experiência com versionamento de código utilizando Git.
  • Conhecimento de testes, validação, monitoramento e tratamento de falhas em pipelines.
  • Capacidade de investigar problemas técnicos e implementar soluções robustas e escaláveis.
    
  Diferenciais
  • Experiência com ambientes de dados em nuvem, especialmente Google Cloud Platform.
  • Conhecimento de integração de APIs e ingestão de dados de plataformas externas.
  • Experiência com grandes volumes de dados e processamento de eventos.
  • Conhecimento de práticas de CI/CD e DataOps.
  • Experiência com governança, catálogo e documentação de ativos de dados.

Modelo de Trabalho

Adotamos o modelo híbrido de trabalho

‘’Se você busca um ambiente de crescimento e desafios, Vem ser feliz!"

Nossos valores nos unem e nossas diferenças nos potencializam como um grupo. Mais do que igualdade, buscamos equidade: Aqui, temos espaço para sermos autênticos, independentemente de gênero, etnia, raça, orientação sexual, clero ou deficiência.