VAGASLUME
O

Engenheiro(a) de Dados SR

Onzze · Barueri - SP · Híbrido · eaiRH

Engenharia de SoftwareA combinarFreelance

Sobre a vaga

Engenheiro(a) de Dados SR (GCP, Spark & Airflow) Para a vaga é obrigatório ter Inglês avançado para trabalhar em um projeto Global e disponibilidade para atuação no modelo híbrido (2 dias presenciais) em Barueri/SP. O QUE ESSE PROFISSIONAL IRÁ FAZER? Desenvolver e sustentar pipelines de ETL/ELT complexos para processamento massivo de dados em ambientes Batch e Streaming, garantindo a ingestão e transformação contínua em larga escala. Orquestrar fluxos e dependências de dados corporativos utilizando Cloud Composer (Apache Airflow) com gestão e otimização avançada de DAGs. Atuar na modelagem analítica e na otimização pesada de consultas SQL em ecossistemas Big Data. Projetar e manter a arquitetura de armazenamento e mensageria em nuvem, garantindo baixa latência, resiliência e alta performance. Integrar pipelines de dados com ecossistemas de microsserviços modernos e plataformas de identidade na Google Cloud Platform (GCP). Requisitos: O QUE É NECESSÁRIO PARA A POSIÇÃO? Graduação (Ensino Superior) em Ciência da Computação, Engenharia de Software, Engenharia da Computação, Sistemas de Informação ou áreas correlatas (cursando ou completo). Sólida e comprovada experiência no desenvolvimento de pipelines de dados massivos (Batch e Streaming) utilizando Apache Spark (Dataproc/GKE) e/ou Cloud Dataflow. Domínio prático em orquestração de fluxos complexos de dados com Apache Airflow ou Cloud Composer. Domínio avançado de SQL e vivência prática com BigQuery, incluindo técnicas de particionamento, otimização e ajuste de performance de queries. Experiência prática com bancos de dados relacionais e não-relacionais: PostgreSQL, Cloud BigTable (NoSQL) para cargas massivas e Redis para camadas de cache. Experiência em arquiteturas de mensageria e eventos em tempo real com Google Cloud Pub/Sub. Domínio de programação em Python, PySpark e/ou Java/Scala para engenharia de dados. Conhecimento em arquitetura de microsserviços, consumo e criação de APIs REST e gRPC. O QUE SERIA UM DIFERENCIAL? Experiência prévia na construção de microsserviços de alta performance utilizando frameworks como Quarkus ou Spring Boot em Birôs de Crédito. Conhecimentos em GCP Identity Platform para governança e segurança na ingestão de eventos. Vivência na implantação e operação de clusters Spark diretamente sobre Kubernetes (GKE). Certificações oficiais na nuvem Google (ex: GCP Professional Data Engineer).

Requisitos principais

Engenharia de SoftwarePipelines de dadosApache SparkSparkGKECloudDomínioOrquestração de fluxosApache AirflowAirflowSQLBigQueryPerformanceBanco de dadosBancos de dados relacionaisPostgreSQLNoSQLRedisMensageriaEventosTempoGCPPub/SubProgramaçãoPythonJavaEngenharia de DadosArquitetura de MicrosserviçosMicrosserviçosAPI RESTAPIs RESTgRPCSpring BootCréditoGovernançaSegurançaKubernetesInglês

Candidatura

Publicado há 3 dias

Adaptar meu currículo

Recurso para membros · Ver planos

Lembre-se: o Vagaslume.Tech não cobra taxas, cursos ou pagamentos para participação em processos seletivos. Se receber alguma cobrança relacionada à contratação, não efetue o pagamento.

O

Onzze

Vagas abertas nesta empresa: 4

Ver perfil da empresa →