Senior Data Engineer: Ingestion & Cloud Integrations Remote (Rosario)

Senior Data Engineer: Ingestion & Cloud Integrations Remote (Rosario)

21 nov
|
1801 Haleon Argentina
|
Rosario

21 nov

1801 Haleon Argentina

Rosario

Ofertas de Senior Data Engineer Ingestion Clou... Para una importante empresa del sector industrial que está impulsando su transformación digital, buscamos un/a Data Engineer que construya los cimientos de datos de la compañía. Vas a diseñar y hacer evolucionar su data lake, y asegurar que la información de la planta y del negocio llegue confiable, trazable y a tiempo a quienes la usan: modelos, dashboards y APIs. Diseñar, implementar y hacer evolucionar la arquitectura Medallion (bronze, silver y gold), que será la base del data lake de la compañía. Garantizar que los datos fluyan de forma confiable desde las fuentes hasta los consumidores, con la calidad, trazabilidad y performance que el negocio necesita. Migrar, desarrollar y mantener procesos de ETL. Optimizar procesos, consultas y estructuras de datos para mejorar el rendimiento y el uso eficiente de los recursos tecnológicos. Monitorear pipelines, modelos y servicios asociados para detectar desvíos, incidentes o caídas de desempeño.Título en Ingeniería en Sistemas o carreras afines.Sólido manejo de SQL y Python. Conocimiento de modelado dimensional. Experiencia con bases de datos relacionales y no relacionales. Se valorará:Experiencia con Databricks o un lakehouse equivalente. Experiencia con datos industriales (historians, sensores, IoT). Experiencia integrando LLMs en flujos de datos. Vas a tener un rol central en un proyecto que arranca de cero. Vas a definir la arquitectura de datos que va a sostener la analítica, los modelos y los productos digitales de una compañía industrial, y vas a trabajar con datos reales de operación y producción.¿Este trabajo es un acierto o un fracaso?
Ubicación:
Argentina | Puede ser 100% remoto Integrarte a un equipo de datos para diseñar, desarrollar y operar pipelines ETL/ELT en Azure, garantizando la ingesta, transformación y disponibilidad de datos para consumidores de negocio y modelos analíticos. El rol implica responsabilidad técnica en la implementación de soluciones con Azure Data Factory, Azure Databricks y ecosistemas de almacenamiento (Blob Storage, Data Lake) aplicando buenas prácticas de calidad, rendimiento y gobernanza de datos. Diseñar y desarrollar pipelines de ingestión y transformación de datos utilizando Azure Data Factory y Azure Databricks. Implementar procesos ETL/ELT con Apache Spark y PySpark para procesamiento por lotes y en tiempo casi real. Modelar y optimizar consultas SQL y estructuras de datos para consumo analítico y reporting. Gestionar y organizar datos en Azure Blob Storage y Azure Data Lake (Gen2), definiendo particionamiento, formatos y políticas de retención. Construir pipelines reproducibles, parametrizables y observables; instrumentar logging, métricas y alertas. Colaborar con equipos de ciencia de datos, BI y producto para definir contratos de datos, SLAs y requisitos de calidad. Automatizar despliegues y pruebas de pipelines; aplicar control de versiones y prácticas CI/CD para artefactos de datos. Garantizar cumplimiento de políticas de seguridad y privacidad en el manejo de datos sensibles. Documentar arquitecturas, pipelines y runbooks; transferir conocimiento al equipo y participar en on-call rotativo cuando aplique. Requisitos excluyentes Experiencia comprobable como Data Engineer (mín. 3 años) trabajando con Azure Data Factory y Azure Databricks. Dominio de Apache Spark y PySpark para procesamiento distribuido y optimización de jobs.Sólidos conocimientos de SQL: modelado, tuning y optimización de consultas. Experiencia en diseño e implementación de pipelines ETL/ELT y en integración de datos. Conocimiento práctico de Azure Blob Storage y Azure Data Lake (Gen2), incluyendo formatos como Parquet/Delta Lake. Familiaridad con herramientas de orquestación, monitorización y CI/CD aplicadas a datos. Inglés técnico: nivel intermedio (lectura de documentación y comunicación con equipos técnicos). Residir en Argentina. Experiencia con Delta Lake, optimizaciones de storage y compaction. Conocimientos en seguridad y gobernanza de datos:



RBAC, Data Catalog, políticas de enmascaramiento. Familiaridad con Python avanzado y librerías de ingeniería de datos (pandas, numpy, airflow o equivalentes). Experiencia con performance tuning de Spark y troubleshooting de jobs en Databricks. Certificaciones Azure relacionadas con datos (DP-203, Azure Data Engineer Associate) o Databricks. Experiencia en entornos cloud a gran escala y en trabajo ágil con equipos multidisciplinarios. Grandes Beneficios¿Este trabajo es un acierto o un fracaso?
Disclaimer – Lectura obligatoria: Compromiso y dedicaciónEste rol requiere dedicación full-time, con prioridad clara sobre los proyectos de Darwoft durante el horario laboral establecido. No es compatible con otros compromisos profesionales full-time. Cualquier actividad profesional adicional deberá ser informada previamente y no deberá interferir con las responsabilidades del rol. Disclaimer – Lectura obligatoria: Compromiso y dedicaciónEste rol requiere dedicación full-time, con prioridad clara sobre los proyectos de Darwoft durante el horario laboral establecido. No es compatible con otros compromisos profesionales full-time. Cualquier actividad profesional adicional deberá ser informada previamente y no deberá interferir con las responsabilidades del rol. Sobre Darwoft Darwoft es una software factory que desarrolla soluciones de software a medida y brinda servicios de staff augmentation IT para clientes internacionales, principalmente en Estados Unidos y Latinoamérica. Trabajamos con startups y compañías en crecimiento, construyendo productos digitales de alto impacto. Nuestra cultura es people-first: priorizamos la calidad técnica, las relaciones de largo plazo y el trabajo colaborativo. Combinamos excelencia técnica con cercanía humana. Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina Información general Ubicación:
Argentina Tipo de contrato:
Relación de dependencia, full-time Industria / Proyecto:
Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)Sobre el rol Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código. La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso optimizado de los costos cloud. Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma. Responsabilidades Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, eligiendo cada servicio según el caso de uso, el costo y la operabilidad. Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos. Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green. Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt. Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, Share Point, bases de datos y archivos. Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog. Modelar datos en Snowflake y dbt por capas, con tests y documentación. Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.



Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / Cloud Formation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation. Construir y mantener pipelines de Git Lab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama. Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos. Implementar observabilidad con Cloud Watch (logs, métricas, alarmas) y testing de DAGs. Optimizar costos de la arquitectura serverless aplicando prácticas de Fin Ops. Requisitos Must-Have+3 años de experiencia como Data Engineer en entornos cloud productivos.AWS serverless (excluyente, nivel avanzado):
Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS. Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless. Orquestación y eventos: Step Functions, Event Bridge (reglas y schedulers), SQS, SNS. Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams). Integración y APIs: API Gateway, App Sync. Streaming: Kinesis Data Streams / Firehose, MSK Serverless. Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager. Observabilidad y costos: Cloud Watch, Fin Ops y Cost Explorer.
Apache Airflow (excluyente, nivel avanzado):
Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills. Operadores, hooks y sensores: providers de AWS, operadores custom y deferrable operators. Task Flow API, XComs, dynamic task mapping, task groups y assets.MWAA en producción. Testing de DAGs, parametrización por entorno, monitoreo y alertas.
CI/CD y control de versiones (excluyente):
Git avanzado: rebase, merge, cherry-pick, resolución de conflictos e historial limpio. Estrategias de branching (Git Flow, trunk-based, feature branches) y versionado semántico. Git Lab: merge requests, code review, protección de ramas, aprobaciones y reglas de merge. Git Lab CI/CD: stages, jobs, runners, variables y secretos protegidos, artefactos, caché, ambientes y despliegues manuales o automáticos.
Infraestructura como código:
Terraform avanzado: módulos reutilizables, variables por entorno e import de recursos existentes.AWS CDK y/o Cloud Formation: stacks, parámetros, outputs, change sets y drift detection. Buenas prácticas: separación de entornos, versionado, revisión del plan antes de aplicar.
Ingeniería de datos:
Snowflake: modelado, SQL avanzado y optimización de consultas.dbt: modelado por capas, tests, documentación e integración con Cosmos. Python para ingesta y automatización (boto3, APIs REST y GraphQL, procesamiento de archivos). Spark / PySpark, incluyendo conocimiento de internals. Parquet y Apache Iceberg sobre Glue Catalog. Ingesta multi‑fuente con dlt.
Agentes:
experiencia con Agent Core o conocimiento de arquitecturas de agentes. Nice-to-Have Docker y criterio para decidir dónde correr cargas (ECS vs. workers de Airflow). Criterio para elegir entre Glue y EMR como motor de procesamiento. Diseño de capas de proyección y consumo sobre DynamoDB para aplicaciones web. Fin Ops de datos: pipelines de costos cloud y análisis de consumo. Nociones de Kafka (MSK) y catalogación de topics.
¿Qué ofrecemos en Darwoft? Contratación en relación de dependencia, con remuneración en ARS. Modalidad de trabajo remota o Mixta. Salarios competitivos. Vacaciones y licencias según legislación vigente.Días personales adicionales por año. Acceso a plataformas de capacitación. Tarjeta de beneficios y descuentos. Welcome kit. Programas de reintegros. Clases de inglés. Programa de referidos. Regalo de cumpleaños. Healthy Break. Celebraciones, aniversarios y actividades de integración. Explore this and other opportunities at:
#J-18808-Ljbffr

📌 Senior Data Engineer: Ingestion & Cloud Integrations Remote (Rosario)
🏢 1801 Haleon Argentina
📍 Rosario

Postulate a este anuncio

Muestra tus habilidades a la empresa, rellenar el formulario y deja un toque personal en la carta, ayudará el reclutador en la elección del candidato.

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: senior data engineer: ingestion & cloud integrations remote (rosario) / rosario

Suscribete a esta alerta:

Recibe por email las nuevas ofertas de trabajo para: senior data engineer: ingestion & cloud integrations remote (rosario) / rosario