ingenieria-de-datos/.env.example at main · caroacostatovany/ingenieria-de-datos · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
# ============================================
# CONFIGURACIÓN DE BASE DE DATOS
# ============================================
# Configuración para PostgreSQL (usado en 02_sql/)
DB_HOST=localhost
DB_PORT=5433
DB_NAME=data_engineering
DB_USER=de_user
DB_PASSWORD=de_password

# Para Docker Compose (02_sql/docker-compose.yml)
POSTGRES_DB=data_engineering
POSTGRES_USER=de_user
POSTGRES_PASSWORD=de_password
POSTGRES_PORT=5433

DATABASE_URL=postgresql://de_user:de_password@localhost:5433/data_engineering

# ============================================
# CONFIGURACIÓN DE API
# ============================================
# Ejemplo para APIs externas
API_KEY=tu_api_key_aqui
API_URL=https://api.ejemplo.com
API_TIMEOUT=30

# ============================================
# CONFIGURACIÓN DE ENTORNO
# ============================================
ENVIRONMENT=development
DEBUG=True
LOG_LEVEL=INFO

# ============================================
# RUTAS DE ARCHIVOS Y DIRECTORIOS
# ============================================
# Rutas para datos (ajusta según tu sistema)
DATA_SOURCE_PATH=./data/raw
DATA_OUTPUT_PATH=./data/processed
DATA_PATH=./data
OUTPUT_PATH=./output

# ============================================
# CONFIGURACIÓN DE PIPELINES
# ============================================
# Configuración para procesamiento
MAX_WORKERS=4
BATCH_SIZE=1000
CHUNK_SIZE=10000

# ============================================
# AWS (si usas servicios AWS)
# ============================================
# AWS_ACCESS_KEY_ID=tu_access_key_aqui
# AWS_SECRET_ACCESS_KEY=tu_secret_key_aqui
# AWS_REGION=us-east-1
# S3_BUCKET_NAME=tu-bucket-datos

# ============================================
# OTRAS CONFIGURACIONES
# ============================================
# Agrega aquí otras variables que necesites para tu proyecto

# ============================================
# CONFIGURACIÓN DE ORQUESTADORES
# ============================================
# Dagster: Directorio donde se almacenan metadatos, logs y configuración
# Si no se especifica, Dagster crea directorios temporales (.tmp_dagster_home_*)
DAGSTER_HOME=./05_pipelines/data/.dagster
# Airflow: Directorio donde se almacenan base de datos, logs y configuración
# Si no se especifica, Airflow usa ~/airflow por defecto
AIRFLOW_HOME=./05_pipelines/orquestadores/.airflow
# Contraseña para el usuario admin de Airflow (solo para modo tradicional)
# En modo standalone, la contraseña se genera automáticamente
AIRFLOW_ADMIN_PASSWORD=admin
# Deshabilitar DAGs de ejemplo de Airflow (para ver solo tus DAGs)
AIRFLOW__CORE__LOAD_EXAMPLES=False
OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES