Desarrollador ETL

Rol - Desarrollador ETL

Ubicación - 849 International Dr Suite 300, Linthicum Heights, MD 21090 (Híbrido)

Cliente - Departamento de Salud de Maryland

 

 

El Departamento de Salud de Maryland (MDH) busca un desarrollador ETL experimentado y altamente cualificado, cuyas responsabilidades incluyan diseñar, construir, automatizar y mantener programas sofisticados que extraigan, conviertan y carguen datos en el Módulo de Gestión de Proveedores (PMM). Este puesto también puede apoyar otros proyectos dentro de la Oficina de Gestión de Proyectos (PMO) según sea necesario.

 

Descripción del puesto: Responsable de diseñar, construir e actualizar pipelines e infraestructuras de datos para apoyar decisiones y análisis basados en datos. La persona es responsable de las siguientes tareas:

 

Un.  Diseñar, desarrollar y mantener canalizaciones de datos, y extraer, transformar, cargar (ETL) procesos para recopilar, procesar y almacenar datos estructurados y no estructurados

 

B.   Construir soluciones de arquitectura y almacenamiento de datos, incluyendo data lakes, data lakes, data warehouses y data marts para apoyar análisis e informes

 

C. Desarrollar la fiabilidad, eficiencia y verificación y procesos de calificación de los datos

 

D. Preparar datos para el modelado de datos

 

E.   Monitorizar y optimizar la arquitectura de datos y los sistemas de procesamiento de datos

 

F.   Colaboración con varios equipos para comprender requisitos y objetivos

 

G.  Realizar pruebas y resolución de problemas relacionados con el rendimiento, la fiabilidad y la escalabilidad

 

H.  Crear y actualizar la documentación

 

Rol y responsabilidades:

 

● Diseñar e implementar modelos de datos robustos y escalables para apoyar las iniciativas de aplicación, análisis e inteligencia empresarial.

 

● Optimizar soluciones de almacenamiento de datos y gestionar migraciones de datos en el ecosistema AWS, utilizando Amazon Redshift, RDS y servicios DocumentDB.

 

● Desarrollar y mantener pipelines ETL escalables usando AWS Glue y otros servicios AWS para mejorar la recopilación, integración y agregación de datos.

 

● Garantizar la integridad y puntualidad de los datos en la cadena de datos, solucionando cualquier problema que surja durante el procesamiento de datos.

 

● Integrar datos de diversas fuentes utilizando tecnologías AWS, asegurando un flujo de datos fluido entre sistemas.

 

● Colaborar con los grupos de interés para definir los requisitos de gestión de datos e implementar soluciones que satisfagan las necesidades del negocio.

 

● Monitorizar, ajustar y gestionar el rendimiento de la base de datos para garantizar cargas y consultas de datos eficientes.

 

● Implementar las mejores prácticas para la gestión de datos dentro de AWS para optimizar los costes de almacenamiento y computación.

 

● Asegurar que todas las prácticas de datos cumplan con los requisitos regulatorios y las políticas del departamento.

 

● Implementar y mantener medidas de seguridad para proteger los datos dentro de los servicios de AWS.

 

● Liderar y orientar a ingenieros de datos junior y a miembros del equipo sobre las mejores prácticas y desafíos técnicos de AWS.

 

 

● Colaborar con el equipo de UI/API, analistas de negocio y otros grupos de interés para apoyar la toma de decisiones basada en datos.

 

● Explorar y adoptar nuevas tecnologías dentro de la nube de AWS para mejorar las capacidades de la plataforma de datos.

 

● Mejorar continuamente los sistemas existentes analizando las necesidades empresariales y las tendencias tecnológicas.

 

 

 

 

 

Educación: Este puesto requiere un título de grado o máster de una universidad o colegio acreditado con especialización en informática, estadística, matemáticas, economía o campos relacionados. Tres (3) años de experiencia equivalente en un campo relacionado pueden sustituirse por el título de Grado.

 

Experiencia general: El candidato propuesto debe tener un mínimo de tres (3) años de experiencia como ingeniero de datos.

 

Experiencia especializada: El candidato debe tener experiencia como ingeniero de datos o un puesto similar, con un sólido conocimiento de la arquitectura de datos y los procesos ETL. El candidato debe dominar lenguajes de programación para el procesamiento de datos y conocer computación distribuida y procesamiento en paralelo.

 

● Mínimo 5 + años de experiencia en codificación ETL

 

● Dominio de lenguajes de programación como Python y SQL para el procesamiento y automatización de datos

 

● Experiencia con frameworks de computación distribuida como Apache Spark u tecnologías similares

 

● Experiencia con entornos de datos de AWS, principalmente Glue, S3, DocumentDB, Redshift, RDS, Athena, etc.

 

● Experiencia con almacenes de datos/RDBMS como Redshift y almacenes de datos NoSQL como DocumentDB, DynamoDB, OpenSearch, etc

 

● Experiencia en la construcción de lagos de datos utilizando AWS Lake Formation

 

● Experiencia con herramientas de orquestación y programación de flujos de trabajo como AWS Step Functions, AWS MWAA, etc.

 

● Sólido conocimiento de bases de datos relacionales (incluyendo tablas, vistas, índices, espacios de tablas)

 

● Experiencia con herramientas de control de versiones como GitHub y procesos relacionados con CI/CD

 

● Capacidad para analizar las necesidades de datos de una empresa

 

● Fuertes habilidades para resolver problemas

 

● Experiencia con SDLC y metodologías ágiles