VAGASLUME
B

Ingeniero/a de Datos | Big Data & Cloud

BC Tecnología · Remote · Get on Board

PythonNegotiableFreelanceAny country · Remote

This job is open to candidates from any country. Work model: Remote

About the job

Requisitos

  • Mínimo 4 años de experiencia profesional.
  • Experiencia como Ingeniero/a de Datos / Big Data Engineer.
  • Dominio de Python y SQL avanzado.
  • Experiencia con Apache Spark / PySpark.
  • Experiencia en construcción de pipelines ETL/ELT.
  • Experiencia con arquitecturas Data Lake / Lakehouse.
  • Experiencia trabajando con AWS y/o Azure.
TecnologíasAWS: S3, Glue, Athena, Redshift, Lambda, Step Functions, Kinesis/MSK, CloudWatch, IAM.Azure: ADLS, Data Factory, Synapse Analytics, Databricks, Azure Functions, Event Hub, Azure Monitor.Data Engineering: Spark, PySpark, Kafka, Kinesis, Event Hub, Parquet, JSON, Avro.DataOps / DevOps: Git, CI/CD, Azure DevOps, GitHub Actions, Terraform, Docker y Kubernetes.Gobierno de Datos: Data Catalog, Data Lineage, Data Quality, Glue Catalog y Microsoft Purview.

¿Cuál será tu desafío?

Participarás en el diseño y desarrollo de soluciones Big Data, construcción de pipelines ETL/ELT y evolución de arquitecturas Data Lake/Lakehouse, asegurando la disponibilidad, calidad, seguridad y gobierno de los datos.Principales responsabilidades
  • Diseñar, desarrollar y mantener pipelines ETL/ELT.
  • Procesar grandes volúmenes de datos utilizando Apache Spark / PySpark.
  • Diseñar y mantener arquitecturas Data Lake / Lakehouse.
  • Realizar modelamiento y transformación de datos.
  • Participar en iniciativas de Gobierno, Calidad, Catálogo y Linaje de Datos.
  • Analizar y proponer mejoras a procesos, sistemas y tecnologías.
  • Realizar testing, troubleshooting y aplicación de correctivos.
  • Participar en iniciativas de DataOps/DevOps.
  • Trabajar con servicios Cloud de AWS y Azure.

Main requirements

PythonSQLBig DataETLData lakeData OpsData governanceAWSAzure

Application

Posted 3 months ago

Tailor my resume

Members feature · See plans

Remember: Vagaslume.Tech never charges fees, courses or payments to take part in hiring processes. If you are asked to pay anything related to being hired, do not make the payment.

B

BC Tecnología

Open jobs at this company: 4

See company profile →