18 nov
|
Solutix IT
|
Argentina
18 nov
Solutix IT
Argentina
? Modalidad 100% remoto.
? Horario de lunes a viernes de 9:00 hs a 18:00 hs
Estamos en búsqueda de un Senior Data Engineer para un proyecto en importante cliente para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Airflow y gestionada como código. La posición combina ingeniería de datos, calidad y gobierno de datos, con foco en pipelines confiables, automatizados y desplegados mediante CI/CD.
Requisitos
- Experiencia: +3 años como Data Engineer en entornos cloud productivos.
- AWS serverless (excluyente, nivel avanzado)
Dominio de todo el ecosistema serverless de AWS y criterio para elegir cada servicio según el caso:
- Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS.
- Procesamiento de datos: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless.
- Orquestación y eventos: Step Functions, Event Bridge (reglas y schedulers), SQS, SNS.
- Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams).
- Integración y APIs: API Gateway, AppSync.
- Streaming: Kinesis Data Streams / Firehose, MSK Serverless.
- Seguridad e IAM: roles y políticas de mínimo privilegio, Lake Formation, Secrets Manager.
- Observabilidad: CloudWatch (logs, métricas, alarmas).
- Costos: optimización en arquitecturas serverless (FinOps, Cost Explorer).
Orquestación con Apache Airflow (excluyente, nivel avanzado):
- Diseño y desarrollo de DAGs de punta a punta: estructura, dependencias, idempotencia, reintentos, SLAs y manejo de fallos.
- Funcionamiento interno: arquitectura (scheduler,
executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills.
- Operadores, hooks y sensores: providers de AWS, operadores custom, deferrable operators.
- TaskFlow API, XComs, dynamic task mapping, task groups y assets (scheduling basado en datos).
- MWAA: configuración del entorno, dependencias, plugins, escalado de workers y despliegues blue/green.
- Integraciones: dbt vía Cosmos, dlt, disparo de jobs de Glue, Lambda, ECS y Step Functions desde DAGs.
- Buenas prácticas: testing de DAGs, parametrización por entorno, monitoreo y alertas.
Infraestructura como Código:
- Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes.
- AWS CDK y/o CloudFormation: stacks, parámetros, outputs, change sets y drift detection.
- Aprovisionamiento como código de la plataforma de datos: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
- Buenas prácticas: separación de entornos (dev / staging / prod), versionado de infraestructura, revisión del plan antes de aplicar y manejo seguro de secretos.
CI/CD y control de versiones (excluyente):
- Git avanzado: rebase, merge, cherry-pick, resolución de conflictos e historial limpio.
- Estrategias de branching: GitFlow,
trunk-based development y feature branches; convenciones de nombres y versionado semántico (tags y releases).
- GitLab: merge requests, code review, protección de ramas, aprobaciones obligatorias y reglas de merge.
- GitLab CI/CD: pipelines (.gitlab-ci.yml), stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos por rama.
Ingeniería de datos:
- Snowflake: modelado, SQL avanzado y optimización de consultas.
- dbt: modelado por capas, tests, documentación e integración con orquestadores (Cosmos).
- Python para ingesta y automatización: boto3, APIs REST y GraphQL, procesamiento de archivos.
- Spark / PySpark: escrituras idempotentes, particionado y conocimiento de internals.
- Lakehouse: Parquet y Apache Iceberg sobre Glue Catalog.
- Ingesta multi-fuente con dlt: APIs (Microsoft Graph, Cost Explorer), SharePoint, bases de datos y archivos.
Agentes:
- Agent core o conocimiento de arquitecturas de agentes.
Deseables:
- Docker y criterio para elegir dónde correr cargas (ECS vs. workers de Airflow).
- Criterio Glue vs. EMR para elegir motor de procesamiento.
- Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
- FinOps de datos: pipelines de costos cloud y análisis de consumo.
- Nociones de Kafka (MSK) y catalogación de topics.
Ventajas:
- Ambiente laboral de cooperativismo y aprendizaje ?
- Equipo de trabajo ?
- Obra Social de primer nivel ?
- Clases de inglés conversacionales en vivo ?️
- Plan de Carrera personalizado ?
- Vacaciones de 15 días hábiles ?️
- Día de cumpleaños libre?
- Ajustes salariales. ?
📌 Data Engineer Sr. - GOVERNANCE OPERATING MODEL (Argentina)
🏢 Solutix IT
📍 Argentina