Disclaimer Lectura obligatoria: Compromiso y dedicación
Este rol requiere dedicación full-time con prioridad clara sobre los proyectos de Darwoft durante el horario laboral establecido. No es compatible con otros compromisos profesionales full-time. Cualquier actividad profesional adicional deberá ser informada previamente y no deberá interferir con las responsabilidades del rol.
Sobre Darwoft
Darwoft es una software factory que desarrolla soluciones de software a medida y brinda servicios de staff augmentation IT para clientes internacionales principalmente en Estados Unidos y Latinoamérica. Trabajamos con startups y compañías en crecimiento construyendo productos digitales de alto impacto.
Nuestra cultura es people-first: priorizamos la calidad técnica las relaciones de largo plazo y el trabajo colaborativo. Combinamos excelencia técnica con cercanía humana.
Senior Data Engineer (AWS Serverless & Airflow) Relación de Dependencia Argentina
Información general
- Ubicación: Argentina
- Tipo de contrato: Relación de dependencia full-time
- Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional industria a confirmar
Sobre el rol
Buscamos un/a Senior Data Engineer para diseñar construir y operar una plataforma de datos sobre AWS serverless orquestada con Apache Airflow y gestionada íntegramente como código.
La posición combina ingeniería de datos calidad y gobierno de datos. El foco está en pipelines confiables automatizados y desplegados mediante CI/CD que permitan al negocio contar con datos consistentes trazables y disponibles a tiempo con un uso eficiente de los costos cloud.
Vas a tener autonomía técnica para tomar decisiones de arquitectura elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma.
Responsabilidades
- Diseñar construir y operar la plataforma de datos sobre el ecosistema serverless de AWS eligiendo cada servicio según el caso de uso el costo y la operabilidad.
- Desarrollar DAGs de Airflow de punta a punta con foco en idempotencia reintentos SLAs y manejo de fallos.
- Configurar y operar entornos MWAA: dependencias plugins escalado de workers y despliegues blue/green.
- Orquestar desde Airflow jobs de Glue Lambda ECS y Step Functions e integrar dbt (vía Cosmos) y dlt.
- Implementar ingesta multi-fuente con dlt y Python:
APIs REST y GraphQL Microsoft Graph Cost Explorer SharePoint bases de datos y archivos.
- Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
- Modelar datos en Snowflake y dbt por capas con tests y documentación.
- Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado optimizado.
- Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA Glue jobs Lambdas buckets S3 roles IAM y permisos de Lake Formation.
- Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
- Aplicar seguridad de mínimo privilegio gobierno de datos con Lake Formation y manejo seguro de secretos.
- Implementar observabilidad con CloudWatch (logs métricas alarmas) y testing de DAGs.
- Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.
Requisitos
Must-Have
- 3 años de experiencia como Data Engineer en entornos cloud productivos.
- AWS serverless (excluyente nivel avanzado):
- Cómputo: Lambda (layers concurrencia timeouts cold starts empaquetado con contenedores) Fargate / ECS.
- Procesamiento: Glue (jobs Spark y Python Shell Data Catalog crawlers) Athena (particionado optimización de costos por escaneo) EMR Serverless.
- Orquestación y eventos: Step Functions EventBridge (reglas y schedulers) SQS SNS.
- Almacenamiento: S3 (diseño de data lake lifecycle eventos) DynamoDB (modelado por patrones de acceso índices streams).
- Integración y APIs: API Gateway AppSync.
- Streaming: Kinesis Data Streams / Firehose MSK Serverless.
- Seguridad: IAM con mínimo privilegio Lake Formation Secrets Manager.
- Observabilidad y costos: CloudWatch FinOps y Cost Explorer.
- Apache Airflow (excluyente nivel avanzado):
- Arquitectura interna (scheduler executor workers triggerer metadata DB) ciclo de vida de tareas data intervals catchup y backfills.
- Operadores hooks y sensores: providers de AWS operadores custom y deferrable operators.
- TaskFlow API XComs dynamic task mapping task groups y assets.
- MWAA en producción.
- Testing de DAGs parametrización por entorno monitoreo y alertas.
- CI/CD y control de versiones (excluyente):
- Git avanzado: rebase merge cherry-pick resolución de conflictos e historial limpio.
- Estrategias de branching (GitFlow trunk-based feature branches) y versionado semántico.
- GitLab: merge requests code review protección de ramas aprobaciones y reglas de merge.
- GitLab CI/CD: stages jobs runners variables y secretos protegidos artefactos caché ambientes y despliegues manuales o automáticos.
- Infraestructura como código:
- Terraform avanzado: módulos reutilizables variables por entorno e import de recursos existentes.
- AWS CDK y/o CloudFormation: stacks parámetros outputs change sets y drift detection.
- Buenas prácticas: separación de entornos versionado revisión del plan antes de aplicar.
- Ingeniería de datos:
- Snowflake: modelado SQL avanzado y optimización de consultas.
- dbt: modelado por capas tests documentación e integración con Cosmos.
- Python para ingesta y automatización (boto3 APIs REST y GraphQL procesamiento de archivos).
- Spark / PySpark incluyendo conocimiento de internals.
- Parquet y Apache Iceberg sobre Glue Catalog.
- Ingesta multi-fuente con dlt.
- Agentes: experiencia con Agent Core o conocimiento de arquitecturas de agentes.
Nice-to-Have
- Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow).
- Criterio para elegir entre Glue y EMR como motor de procesamiento.
- Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
- FinOps de datos: pipelines de costos cloud y análisis de consumo.
- Nociones de Kafka (MSK) y catalogación de topics.
Qué ofrecemos en Darwoft
- Contratación en relación de dependencia con remuneración en ARS.
- Modalidad de trabajo remota o Mixta.
- Salarios competitivos.
- Vacaciones y licencias según legislación vigente.
- Días personales adicionales por año.
- Acceso a plataformas de capacitación.
- Tarjeta de beneficios y descuentos.
- Welcome kit.
- Programas de reintegros.
- Clases de inglés.
- Programa de referidos.
- Regalo de cumpleaños.
- Healthy Break.
- Celebraciones aniversarios y actividades de integración.