Senior Data Engineer (AWS Serverless & Airflow)
Información general
Ubicación: Argentina
Tipo de contrato: Relación de dependencia, full-time
Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)
Sobre el rol
Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.
La posición combina ingeniería de datos, calidad y gobierno de datos.
El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso productivo de los costos cloud.
Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma.
Responsabilidades
Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, eligiendo cada servicio según el caso de uso, el costo y la operabilidad.
Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green.
Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt.
Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
Modelar datos en Snowflake y dbt por capas, con tests y documentación.
Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.
Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.




Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs.
Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.
Requisitos
+3 años de experiencia como Data Engineer en entornos cloud productivos.
AWS serverless (excluyente, nivel avanzado): Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS; Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless; Orquestación y eventos: Step Functions, EventBridge (reglas y schedulers), SQS, SNS; Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams); Integración y APIs: API Gateway, AppSync; Streaming: Kinesis Data Streams / Firehose, MSK Serverless; Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager; Observabilidad y costos: CloudWatch, FinOps y Cost Explorer.
Apache Airflow (excluyente, nivel avanzado): Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills; Operadores, hooks y sensores: providers de AWS, operadores custom y deferrable operators; TaskFlow API, XComs, dynamic task mapping, task groups y assets; MWAA en producción; Testing de DAGs, parametrización por entorno, monitoreo y alertas.
CI/CD y control de versiones (excluyente): Git avanzado: rebase, merge, cherry-pick,



resolución de conflictos e historial limpio; Estrategias de branching (GitFlow, trunk-based, feature branches) y versionado semántico; GitLab: merge requests, code review, protección de ramas, aprobaciones y reglas de merge; GitLab CI/CD: stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos.
Infraestructura como código: Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes; AWS CDK y/o CloudFormation: stacks, parámetros, outputs, change sets y drift detection; Buenas prácticas: separación de entornos, versionado, revisión del plan antes de aplicar.
Ingeniería de datos: Snowflake: modelado, SQL avanzado y optimización de consultas; dbt: modelado por capas, tests, documentación e integración con Cosmos; Python para ingesta y automatización (boto3, APIs REST y GraphQL, procesamiento de archivos); Spark / PySpark, incluyendo conocimiento de internals; Parquet y Apache Iceberg sobre Glue Catalog; Ingesta multi-fuente con dlt.
Agentes: experiencia con Agent Core o conocimiento de arquitecturas de agentes.
Nice-to-Have
Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow).
Criterio para elegir entre Glue y EMR como motor de procesamiento.
Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
FinOps de datos: pipelines de costos cloud y análisis de consumo.
Nociones de Kafka (MSK) y catalogación de topics.
¿Qué ofrecemos en Darwoft?
Contratación en relación de dependencia, con remuneración en ARS.
Modalidad de trabajo remota o Mixta.
Salarios competitivos.
Vacaciones y licencias según legislación vigente.
Días personales adicionales por año.
Acceso a plataformas de capacitación.
Tarjeta de beneficios y descuentos.
Welcome kit.
Programas de reintegros.
Clases de inglés.
Programa de referidos.
Regalo de cumpleaños.
Healthy Break.
Celebraciones, aniversarios y actividades de integración.
#J-*****-Ljbffr

📌 Senior Data Engineer (Ai/Ml & Azure) - Remote - Latin America (Juan José Castelli)
🏢 Kake
📍 Juan José Castelli