Curso DP-203 Data Engineering on Microsoft Azure

En este curso, el alumno aprenderá sobre la ingeniería de datos en lo que se refiere al trabajo con soluciones analíticas por lotes y en tiempo real usando tecnologías de plataforma de datos de Azure.
Los alumnos empezarán conociendo las tecnologías de proceso y almacenamiento básicas que se usan para crear una solución analítica. También aprenderán a explorar interactivamente los datos almacenados en archivos de un lago de datos.
Conocerán las diversas técnicas de ingesta que se pueden usar para cargar datos mediante la funcionalidad de Apache Spark incluida en Azure Synapse Analytics o Azure Databricks, o cómo ingerir mediante canalizaciones de Azure Data Factory o Azure Synapse. Los alumnos también conocerán las distintas formas en que pueden transformar los datos mediante las mismas tecnologías que se usan para ingerir datos.
Comprenderán la importancia de implementar seguridad para garantizar que los datos (en reposo o en tránsito) están protegidos. Tras ello, se les explicará cómo crear un sistema analítico en tiempo real para crear soluciones analíticas en tiempo real.

Módulo 1: Exploración de las opciones de proceso y almacenamiento de las cargas de trabajo de ingeniería de datos

• Introducción a Azure Synapse Analytics
• Descripción de Azure Databricks
• Introducción a Azure Data Lake Storage
• Descripción de la arquitectura de Delta Lake
• Trabajo con secuencias de datos mediante Azure Stream Analytics
• Laboratorio: Exploración de las opciones de proceso y almacenamiento de las cargas de trabajo de ingeniería de datos

Módulo 2: Ejecución de consultas interactivas con grupos de SQL sin servidor de Azure Synapse Analytics

• Exploración de las capacidades de los grupos de SQL sin servidor de Azure Synapse
• Consulta de datos en el lago mediante grupos de SQL sin servidor de Azure Synapse
• Creación de objetos de metadatos en grupos de SQL sin servidor de Azure Synapse
• Protección de datos y administración de usuarios en grupos de SQL sin servidor de Azure Synapse
• Laboratorio: Ejecución de consultas interactivas con grupos de SQL sin servidor

Módulo 3: Exploración y transformación de datos en Azure Databricks

• Descripción de Azure Databricks
• Lectura y escritura de datos en Azure Databricks
• Trabajo con elementos DataFrame en Azure Databricks
• Trabajo con métodos avanzados de DataFrame en Azure Databricks
• Laboratorio: Realización de exploraciones y transformaciones de datos en Azure Databricks

Módulo 4: Exploración, transformación y carga de datos en almacenamientos de datos con Apache Spark

• Definición de la ingeniería de macrodatos con Apache Spark en Azure Synapse Analytics
• Ingesta de datos con cuadernos de Apache Spark en Azure Synapse Analytics
• Transformación de datos con objetos DataFrame de grupos de Apache Spark de Azure Synapse Analytics
• Integración de grupos de SQL y Apache Spark en Azure Synapse Analytics
• Laboratorio: Exploración, transformación y carga de datos en almacenamientos de datos con Apache Spark

Módulo 5: Ingesta y carga de datos en almacenamientos de datos

• Uso de procedimientos recomendados para la carga de datos en Azure Synapse Analytics
• Ingesta a escala de petabytes con Azure Data Factory
• Laboratorio: Ingesta y carga de datos en almacenamientos de datos

Módulo 6: Transformación de datos con canalizaciones de Azure Data Factory o Azure Synapse

• Integración de datos con Azure Data Factory o canalización de Azure Synapse
• Realización de transformaciones sin código y a escala con canalizaciones de Azure Data Factory o Azure Synapse
• Laboratorio: Transformación de datos con canalizaciones de Azure Data Factory o Azure Synapse

Módulo 7: Organización de movimientos y transformaciones de datos en canalizaciones de Azure Synapse

• Orquestación de movimientos y transformaciones de datos en Azure Data Factory
• Laboratorio: Organización de movimientos y transformaciones de datos en canalizaciones de Azure Synapse

Módulo 8: Seguridad integral con Azure Synapse Analytics

• Creación de un almacenamiento de datos en Azure Synapse Analytics
• Configuración y administración de secretos en Azure Key Vault
• Implementación de controles de cumplimiento para datos confidenciales
• Laboratorio: Seguridad integral con Azure Synapse Analytics

Módulo 9: Soporte de procesamientos analíticos transaccionales híbridos con Azure Synapse Link

• Diseño del procesamiento analítico y transaccional híbrido mediante Azure Synapse Analytics
• Configuración de Azure Synapse Link con Azure Cosmos DB
• Consulta de Azure Cosmos DB con grupos de Apache Spark
• Consulta de Azure Cosmos DB con grupos de SQL sin servidor
• Laboratorio: Soporte de procesamientos analíticos transaccionales híbridos con Azure Synapse Link

Módulo 10: Procesamiento de secuencias en tiempo real con Stream Analytics

• Habilitación de mensajería confiable para aplicaciones de macrodatos con Azure Event Hubs
• Trabajo con secuencias de datos mediante Azure Stream Analytics
• Ingesta de flujos de datos con Azure Stream Analytics
• Laboratorio: Procesamiento de secuencias en tiempo real con Stream Analytics

Módulo 11: Creación de una solución de procesamiento de secuencias con Event Hubs y Azure Databricks

• Procesamiento de datos de streaming con Structured Streaming de Azure Databricks
• Laboratorio: Creación de una solución de procesamiento de secuencias con Event Hubs y Azure Databricks