Data Engineer – MS Fabric

Job not on LinkedIn

🕒 May 25

Apply Now

Find Similar Remote Jobs

Set Up Email Alert For New Jobs

📊 Check your resume score for this job

Improve your chances of getting an interview by checking your resume score before you apply.

Upload Resume

Derevo

WebsiteLinkedInAll Job Openings

51 - 200 employees

Founded 2013

🤖 Artificial Intelligence

Artificial Intelligence • Data Analytics • Technology Consulting

Derevo is a company that empowers organizations and individuals to unlock the value of their data through comprehensive analytics processes and platforms. They focus on full-cycle analytics, which involves the creation, integration, and analysis of data, as well as fostering a data-driven culture. With over 10 years of experience, Derevo has been an ally in driving organizational change through data. They offer services including data creation, digital transformation, data integration, data analytics, and data sharing. Derevo's nearshore development model utilizes global teams to provide sustainable value, with competitive analytics rates and cultural alignment for clients, particularly in the U. S. and Canada. They work with advanced technologies such as AI and machine learning to deliver business intelligence solutions across various industries, emphasizing robust collaborations with leading technology providers.

📋 Description

• Serás clave para crear e implementar arquitecturas modernas de datos con alta calidad, impulsando soluciones analíticas basadas en tecnologías de Big Data. • Diseñarás, mantendrás y optimizarás sistemas de multiprocesamiento paralelo, aplicando las mejores prácticas de almacenamiento y gestión en data warehouses, data lakes y lakehouses. • Serás el apasionado que recolecta, procesa, limpia y orquesta grandes volúmenes de datos, entendiendo modelos estructurados y semi–estructurados, para integrar y transformar múltiples fuentes con eficacia. • Definirás la estrategia óptima según objetivos de negocio y requerimientos técnicos, convirtiendo problemas complejos en soluciones alcanzables que ayuden a nuestros clientes a tomar decisiones basadas en datos. • Te integrarás al proyecto, sus sprints y ejecutarás las actividades de desarrollo aplicando siempre las mejores prácticas de datos y las tecnologías que implementamos. • Identificarás requerimientos y definirás el alcance, participando en sprint planning y sesiones de ingeniería con una visión de consultor que aporte valor extra. • Colaborarás proactivamente en workshops y reuniones con el equipo interno y con el cliente. • Clasificarás y estimarás actividades bajo metodologías ágiles (épicas, features, historias técnicas/usuario) y darás seguimiento diario para mantener el ritmo del sprint. • Cumplirás las fechas de entrega comprometidas y gestionarás riesgos comunicando desviaciones a tiempo.

🎯 Requirements

• Inglés avanzado • Habilidades Técnicas: Lenguajes de Consulta y Programación T-SQL / Spark SQL: DDL y DML, consultas intermedias y avanzadas (subconsultas, CTEs, joins múltiples con reglas de negocio), agrupación y agregación (GROUP BY, funciones de ventana, métricas de negocio), procedimientos almacenados para ETL/ELT, optimización de índices, estadísticas y planes de ejecución para procesos masivos. • Python (PySpark): Programación orientada a objetos (clases, módulos), gestión de estructuras y tipos de datos (variables, listas, tuplas, diccionarios), control de flujo mediante condicionales y bucles, ingestión de datos estructurados y semiestructurados, desarrollo de DataFrames y UDFs, ventanas temporales y particionado para optimización, buenas prácticas de código (PEP8, modularidad). • JSON / REST APIs: Orquestación de pipelines y despliegues CI/CD mediante llamadas a Fabric REST APIs, parametrización dinámica de ejecuciones y gestión de artefactos. • Microsoft Fabric Lakehouse (OneLake + Delta Lake) : modelado de datos con tablas Delta ACID, particionamiento y optimizaciones (OPTIMIZE, Z-ORDER) para mejorar rendimiento; uso de time travel para auditoría y recuperación. • Warehouses (Synapse Analytics) : configuración de clusters SQL provisionados y serverless; diseño de esquemas estrella/copo de nieve; ejecución de T-SQL transaccional con aislamiento y escalado automático de recursos. • CI/CD & Lifecycle Management : definición de pipelines en Azure DevOps o GitHub Actions con entornos dev–test–prod; pruebas unitarias de datasets, validaciones de esquema y despliegue automatizado de artefactos. • Monitor Hub & Activator : creación de dashboards personalizados para métricas de ingestión y transformación (latencia, throughput, errores); alertas proactivas y runbooks automáticos basados en condiciones definidas. • Eventstreams & Eventhouse : configuración de ingesta de eventos en tiempo real sin código; definición de ventanas de procesamiento, agregaciones incrementales y almacenamiento optimizado para análisis temporal. • Seguridad y Gobierno de Datos : administración granular de roles (Admin, Member, Contributor, Viewer) y permisos por workspace/item; políticas de row-level, column-level security y dynamic data masking; auditoría de accesos y cambios para cumplimiento normativo. • Deseable: conocimientos generales en Azure Data Factory.

🏖️ Benefits

• WELLNESS: Impulsaremos tu bienestar integral a través del equilibrio personal, profesional y económico, Nuestros beneficios de ley y adicionales te ayudarán a lograrlo. • LET´S RELEASE YOUR POWER: Tendrás la oportunidad de especializarte de manera integral en diferentes áreas y tecnologías, logrando así un desarrollo interdisciplinario. Te impulsaremos a plantearte nuevos retos y superarte a ti mismo. • WE CREATE NEW THINGS: Nos gusta pensar fuera de la caja. Tendrás el espacio, confianza y libertad para crear y la capacitación que se requiera para lograrlo. • WE GROW TOGETHER: Participarás en proyectos tecnológicos punteros, multinacionales y con equipos extranjeros.