05_pipelines

🔄 Pipelines y Orquestación

Esta carpeta cubre cómo construir, orquestar y monitorear pipelines de datos en producción.

---

📖 Contenido

✅ Documentos disponibles

• ✅ Pipelines básicos

  • Conceptos fundamentales de pipelines
  • Componentes básicos
  • Pipelines con Python puro
  • Estructura de proyectos
  • Testing de pipelines

• ✅ Orquestadores

  • Comparación de orquestadores
  • Orquestadores locales (para desarrollo):
    • Prefect (moderno, Python-first)
    • Dagster (data assets, UI excelente)
  • Orquestadores enterprise/cloud:
    • Airflow (estándar industria, completo)
    • Luigi (simple, Python puro)
    • AWS Step Functions (serverless)
    • Google Cloud Composer (Airflow gestionado)
    • Azure Data Factory (Azure nativo)

---

🎯 Objetivo de esta sección

Al finalizar esta sección, deberías poder:

• Diseñar y construir pipelines ETL/ELT básicos
• Construir pipelines con Python puro (sin orquestadores)
• Elegir el orquestador apropiado para tu caso
• Orquestar pipelines con herramientas modernas
• Manejar errores y dependencias
• Monitorear y mantener pipelines en producción

---

📚 Flujo de aprendizaje recomendado

1. Empieza con Pipelines básicos - Aprende conceptos y construye pipelines con Python puro
2. Explora Orquestadores - Empieza con orquestadores locales (Prefect, Dagster) para desarrollo, luego escala a enterprise (Airflow) cuando necesites producción

💡 Tip: Revisa el Roadmap completo para ver la ruta completa.

---

💡 Tip

Un pipeline no es solo código. Piensa en orquestación, monitoreo, manejo de errores y mantenibilidad desde el diseño.