Análisis de herramientas de ETL y reporting en entornos Big Data

Tesina (Licenciatura en Sistemas) - Universidad Nacional de La Plata. Facultad de Informática, 2023.

1. Introducción -- 1.1 Objetivo del trabajo -- 1.2 Motivación -- 1.3 Aportes de la Tesina -- 1.4 Estructura de la Tesina -- 2. Marco teórico -- 2.2 ETL -- 2.2.1 Extracción -- 2.2.2 Transformación -- 2.2.3 Carga -- 2.3 Big Data -- 2.3.1 Data Warehousing -- 2.4 Reporting y Data BI -- 3. Herramientas utilizadas para el desarrollo -- 3.1 Python y entornos de construcción basada en código para -- procesos ETL y Big Data -- 3.2 Spark -- 3.3 Apache Nifi -- 3.4 Herramientas de reporting con GUI y basadas en código -- 4. Desarrollo -- 4.1 Esquema general del desarrollo -- 4.2 Extracción -- 4.2.1 Scraping -- 4.2.1.1 Implementación del scraping en Nifi -- 4.2.1.2 Implementación del scraping en Python -- 4.5 Transformación -- 4.5.1 Transformación con Nifi -- 4.5.2 Transformación en notebooks de código -- 4.6 Carga -- 4.6.1 Carga en SQL y Data Warehousing -- 4.6.1.1 Carga SQL en Nifi -- 4.6.1.2 Carga SQL en notebooks -- 4.6.2 noSQL -- 4.6.2.1 Carga noSQL en Nifi -- 4.6.2.2 Carga noSQL en notebooks -- 4.7 Reporting -- 4.7.1 Herramientas con interfaz gráfica -- 4.7.2 Reporting mediante notebooks con librerías de código -- 5. Mediciones -- 5.1 Consumo de recursos -- 5.1.1 Consumo de recursos de cómputo para ETL con -- Apache Nifi y Python -- 5.1.2 Consumo de recursos de cómputo para herramientas de -- reporting PowerBI y Python -- 5.2 Costos en cloud -- 5.3 Recursos organizacionales -- 6. Conclusiones finales -- 7. Referencias bibliográficas