10 nov
|
encora10
|
Argentina
10 nov
encora10
Argentina
- Ofertas de Data Engineer Senior en La Pampa
¡Lo siento! ¿Qué no te gustó de este trabajo?
El trabajo no coincide con mi búsqueda
Descripción de trabajo irrelevante
Muy pocos detalles / Falta de información
El trabajo parece obsoleto
Sospechoso / Parece una estafa
Otro (por favor especificar).
Gracias por tus comentarios.
Su aportación nos ayuda a mejorar nuestro servicio.
- Palo Alto
¿Este trabajo es un acierto o un fracaso?
Disclaimer – Lectura obligatoria: Compromiso y dedicación
Este rol requiere dedicación full-time, con prioridad clara sobre los proyectos de Darwoft durante el horario laboral establecido. No es compatible con otros compromisos profesionales full-time. Cualquier actividad profesional adicional deberá ser informada previamente y no deberá interferir con las responsabilidades del rol.
Sobre Darwoft
Darwoft es una software factory que desarrolla soluciones de software a medida y brinda servicios de staff augmentation IT para clientes internacionales, principalmente en Estados Unidos y Latinoamérica. Trabajamos con startups y compañías en crecimiento, construyendo productos digitales de alto impacto.
Nuestra cultura es people-first: priorizamos la calidad técnica, las relaciones de largo plazo y el trabajo colaborativo. Combinamos excelencia técnica con cercanía humana.
Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina Información general
- Ubicación: Argentina
- Tipo de contrato: Relación de dependencia, full-time
- Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)
Sobre el rol
Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.
La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud.
Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma.
Responsabilidades
- Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, eligiendo cada servicio según el caso de uso, el costo y la operabilidad.
- Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
- Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green.
- Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt.
- Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
- Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
- Modelar datos en Snowflake y dbt por capas, con tests y documentación.
- Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.
- Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
- Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
- Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
- Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs.
- Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.
Requisitos
Must-Have
- +3 años de experiencia como Data Engineer en entornos cloud productivos.
- AWS serverless (excluyente, nivel avanzado):
- Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS.
- Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless.
- Orquestación y eventos: Step Functions, EventBridge (reglas y schedulers), SQS, SNS.
- Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams).
- Integración y APIs: API Gateway, AppSync.
- Streaming: Kinesis Data Streams / Firehose, MSK Serverless.
- Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager.
- Observabilidad y costos: CloudWatch, FinOps y Cost Explorer.
- Apache Airflow (excluyente, nivel avanzado):
- Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills.
- Operadores, hooks y sensores: providers de AWS, operadores custom y deferrable operators.
- TaskFlow API, XComs, dynamic task mapping, task groups y assets.
- MWAA en producción.
- Testing de DAGs, parametrización por ambiente, monitoreo y alertas.
- CI/CD y control de versiones (excluyente):
- Git avanzado: rebase, merge, cherry-pick, resolución de conflictos e historial limpio.
- Estrategias de branching (GitFlow, trunk-based, feature branches) y versionado semántico.
- GitLab: merge requests, code review, protección de ramas, aprobaciones y reglas de merge.
- GitLab CI/CD: stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos.
- Infraestructura como código:
- Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes.
- AWS CDK y/o CloudFormation: stacks, parámetros, outputs, change sets y drift detection.
- Buenas prácticas: separación de entornos, versionado, revisión del plan antes de aplicar.
- Ingeniería de datos:
- Snowflake: modelado, SQL avanzado y optimización de consultas.
- dbt: modelado por capas, tests, documentación e integración con Cosmos.
- Python para ingesta y automatización (boto3, APIs REST y GraphQL,
procesamiento de archivos).
- Spark / PySpark, incluyendo conocimiento de internals.
- Parquet y Apache Iceberg sobre Glue Catalog.
- Ingesta multi-fuente con dlt.
- Agentes: experiencia con Agent Core o conocimiento de arquitecturas de agentes.
Nice-to-Have
- Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow).
- Criterio para elegir entre Glue y EMR como motor de procesamiento.
- Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web.
- FinOps de datos: pipelines de costos cloud y análisis de consumo.
- Nociones de Kafka (MSK) y catalogación de topics.
¿Qué ofrecemos en Darwoft?
- Contratación en relación de dependencia, con remuneración en ARS.
- Modalidad de trabajo remota o Mixta.
- Salarios competitivos.
- Vacaciones y licencias según legislación vigente.
- Días personales adicionales por año.
- Acceso a plataformas de capacitación.
- Tarjeta de beneficios y descuentos.
- Welcome kit.
- Programas de reintegros.
- Clases de inglés.
- Programa de referidos.
- Regalo de cumpleaños.
- Healthy Break.
- Celebraciones, aniversarios y actividades de integración.
¿Este trabajo es un acierto o un fracaso?
Ubicación: Argentina | Puede ser 100% remoto
Integrarte a un equipo de datos para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando la ingesta, transformación y disponibilidad de datos para consumidores de negocio y modelos analíticos. El rol implica responsabilidad técnica en la implementación de soluciones con Azure Data Factory, Azure Databricks y ecosistemas de almacenamiento (Blob Storage, Data Lake) aplicando buenas prácticas de calidad, rendimiento y gobernanza de datos.
Diseñar y desarrollar pipelines de ingestión y transformación de datos utilizando Azure Data Factory y Azure Databricks.
Implementar procesos ETL/ELT con Apache Spark y PySpark para procesamiento por lotes y en tiempo casi real.
Modelar y optimizar consultas SQL y estructuras de datos para consumo analítico y reporting.
Gestionar y organizar datos en Azure Blob Storage y Azure Data Lake (Gen2), definiendo particionamiento, formatos y políticas de retención.
Construir pipelines reproducibles, parametrizables y observables; instrumentar logging, métricas y alertas.
Colaborar con equipos de ciencia de datos, BI y producto para definir contratos de datos, SLAs y requisitos de calidad.
Automatizar despliegues y pruebas de pipelines; aplicar control de versiones y prácticas CI/CD para artefactos de datos.
Garantizar cumplimiento de políticas de seguridad y privacidad en el manejo de datos sensibles.
Documentar arquitecturas, pipelines y runbooks; transferir conocimiento al equipo y participar en on-call rotativo cuando aplique.
Requisitos excluyentes
Experiencia comprobable como Data Engineer (mín. 3 años) trabajando con Azure Data Factory y Azure Databricks.
Dominio de Apache Spark y PySpark para procesamiento distribuido y optimización de jobs.
Sólidos conocimientos de SQL: modelado, tuning y optimización de consultas.
Experiencia en diseño e implementación de pipelines ETL/ELT y en integración de datos.
Conocimiento práctico de Azure Blob Storage y Azure Data Lake
#J-18808-Ljbffr
📌 Data Engineer Senior (Argentina)
🏢 encora10
📍 Argentina