Cplug I Engenheiro (a) de Dados Sênior

Requisitos

• SQL
• Apache Spark
• Python
• kafka / RabbitMQ / SQS

Tarefas e Responsabilidades

💼 Responsabilidades e atividades do dia a dia:

Projetar e implementar pipelines de dados robustos, cobrindo todo o ciclo: identificação de origens, ingestão, transformação, enriquecimento e cargas;

Levantar e manter toda a infraestrutura necessária para rodar a stack de dados, gerenciando custos para garantir a eficiência da operação;

Manipular grandes volumes de dados utilizando ecossistema Open Source;

Contribuir para a evolução do nosso Data Lake e infraestrutura, buscando melhoria contínua nos padrões de engenharia;

Construir e manter dashboards estratégicos para os times de Marketing, Produto e Engenharia;

Definir processos internos da área de dados e auxiliar na tomada de decisão baseada em dados.

🤩 Esperamos que você possua:

Sólida experiência com AWS (capacidade de subir e manter serviços de hosting);

Domínio de Python e SQL;

Experiência com Apache Spark, Kafka e Hudi (ou similares);

Conhecimento em ferramentas de visualização e BI: Metabase e Apache Superset;

Experiência com Clickhouse;

Autonomia e vontade de construir uma estrutura do zero;

Perfil comunicativo para interagir com diferentes áreas da empresa.

🌟 Será um diferencial se você tiver:

Certificações AWS;

Experiência prévia na estruturação de áreas de dados do zero.