14 nov
|
1801 Haleon Argentina
|
Tandil
14 nov
1801 Haleon Argentina
Tandil
Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina
Información general
- Ubicación: Argentina
- Tipo de contrato: Relación de dependencia, full-time
- Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)
Sobre el rol
Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.
La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud.
Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas en toda la plataforma.
Responsabilidades
- Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS siguiendo los mejores patrones de la industria.
- Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
- Configurar y operar entornos MWAA, dependencias, plugins, escalado de workers y despliegues blue/green.
- Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (a través de Cosmos) y dlt.
- Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
- Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
- Modelar datos en Snowflake y dbt por capas, con tests y documentación.
- Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado productivo.
- Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
- Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
- Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
- Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs.
- Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.
Requisitos
Must-Have
- +3 años de experiencia como Data Engineer en entornos cloud productivos.
- AWS serverless (nivel avanzado): Lambda, Fargate / ECS, Glue, Athena, EMR Serverless, Step Functions, EventBridge, S3, DynamoDB, API Gateway, AppSync, Kinesis, MSK, IAM, Lake Formation, Secrets Manager, CloudWatch, FinOps.
- Apache Airflow (nivel avanzado): arquitectura interna, operadores, hooks, sensores, taskflow API, XComs, dynamic task mapping, task groups, assets, MWAA, testing, parametrización por entorno.
- CI/CD y control de versiones (Git avanzado, GitFlow, GitLab CI/CD: stages, jobs, runners, variables, artefactos, caché).
- Infraestructura como código: Terraform avanzado, módulos reutilizables, variables por entorno, import de recursos existentes; AWS CDK y/o CloudFormation.
- Ingeniería de datos: Snowflake (modelado, SQL avanzado, optimización), dbt (modelado por capas, tests, docs), Spark / PySpark (performance tuning, debugging en Databricks), Parquet, Iceberg, delta lake, dlt.
- Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow).
- Experiencia con seguridad y gobernanza de datos: RBAC, Data Catalog, políticas de enmascaramiento, Data Lake governance.
- Certificaciones Azure relacionadas con datos (DP-203, Azure Data Engineer Associate) o Databricks.
Nice-to-Have
- Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow).
- Criterio para elegir entre Glue y EMR como motor de procesamiento.
- Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
- FinOps de datos: pipelines de costos cloud y análisis de consumo.
- Nociones de Kafka (MSK) y catalogación de topics.
¿Qué ofrecemos en Darwoft?
- Contratación en relación de dependencia, con remuneración en ARS.
- Modalidad de trabajo remota o Mixta.
- Salarios competitivos.
- Vacaciones y licencias según legislación vigente.
- Días personales adicionales por año.
- Acceso a plataformas de capacitación.
- Tarjeta de beneficios y descuentos.
- Welcome kit.
- Programas de reintegros.
- Clases de inglés.
- Programa de referidos.
- Regalo de cumpleaños. <
📌 Senior Data Engineer (Tandil)
🏢 1801 Haleon Argentina
📍 Tandil