feat: update filters, pipeline, i18n translations and tests

Author: denielhs

src/components/filters.py

@@ -29,13 +29,14 @@ def render_page_filters(df: pd.DataFrame) -> pd.DataFrame:
         with c1:
             # 1. Tratamento de Réplicas
             method_options = {
-                "media": "Média das Réplicas",
-                "desdobrar": "Desdobrar em Linhas",
-                "replica_1": "Réplica 1 Apenas",
-                "replica_2": "Réplica 2 Apenas",
-                "replica_3": "Réplica 3 Apenas (IAF)"
+                "media": t("sidebar.rep.media", default="Média das Réplicas"),
+                "mediana": t("sidebar.rep.mediana", default="Mediana das Réplicas"),
+                "desdobrar": t("sidebar.rep.desdobrar", default="Desdobrar em Linhas"),
+                "replica_1": t("sidebar.rep.replica_1", default="Réplica 1 Apenas"),
+                "replica_2": t("sidebar.rep.replica_2", default="Réplica 2 Apenas"),
+                "replica_3": t("sidebar.rep.replica_3", default="Réplica 3 Apenas (IAF)"),
             }
-            
+
             current_method = st.session_state.get("rep_method", "media")
             method_keys = list(method_options.keys())
             method_idx = method_keys.index(current_method) if current_method in method_keys else 0
@@ -47,6 +48,8 @@ def render_page_filters(df: pd.DataFrame) -> pd.DataFrame:
                 format_func=lambda x: method_options[x],
                 key="filter_rep_method"
             )
+            if selected_method == "mediana":
+                st.caption(":information_source: " + t("sidebar.rep.mediana_note"))
 
             # Se o método mudou, reprocessa o pipeline
             if selected_method != current_method:

src/i18n/locales/en.json

@@ -506,6 +506,17 @@
   "comparative.hourly.download": "Download hourly series (CSV)",
   "sidebar.filters_title": "Global Filters",
   "sidebar.rep_method_label": "Replica Treatment",
+  "sidebar.rep.media": "Mean of Replicates",
+  "sidebar.rep.mediana": "Median of Replicates",
+  "sidebar.rep.desdobrar": "Unfold into Rows",
+  "sidebar.rep.replica_1": "Replicate 1 Only",
+  "sidebar.rep.replica_2": "Replicate 2 Only",
+  "sidebar.rep.replica_3": "Replicate 3 Only (IAF)",
+  "sidebar.rep.mediana_note": "With n=2 replicates (Chl a, Chl b), the median is mathematically identical to the mean. The robustness gain only applies to IAF (n=3), where the median drops the most extreme of the three readings.",
+  "pipeline.rep_grouped": "Grouped",
+  "pipeline.rep_expanded": "Expanded",
+  "pipeline.rep_method_label": "Change replicate treatment:",
+  "pipeline.section_info": "Automated Physiology Cleaning Pipeline",
   "sidebar.filter_crop": "Crop",
   "sidebar.filter_mun": "Municipality",
   "sidebar.filter_faz": "Farm",

src/i18n/locales/es.json

@@ -506,6 +506,17 @@
   "comparative.hourly.download": "Descargar serie horaria (CSV)",
   "sidebar.filters_title": "Filtros Globales",
   "sidebar.rep_method_label": "Tratamiento de Réplicas",
+  "sidebar.rep.media": "Media de las Réplicas",
+  "sidebar.rep.mediana": "Mediana de las Réplicas",
+  "sidebar.rep.desdobrar": "Desdoblar en Filas",
+  "sidebar.rep.replica_1": "Sólo Réplica 1",
+  "sidebar.rep.replica_2": "Sólo Réplica 2",
+  "sidebar.rep.replica_3": "Sólo Réplica 3 (IAF)",
+  "sidebar.rep.mediana_note": "Con n=2 réplicas (Chl a, Chl b), la mediana es matemáticamente idéntica a la media. La ganancia de robustez aparece sólo en IAF (n=3), donde la mediana descarta el valor más extremo de las tres lecturas.",
+  "pipeline.rep_grouped": "Agrupado",
+  "pipeline.rep_expanded": "Expandido",
+  "pipeline.rep_method_label": "Cambiar tratamiento de réplicas:",
+  "pipeline.section_info": "Pipeline Automatizado de Limpieza de Fisiología",
   "sidebar.filter_crop": "Cultivo",
   "sidebar.filter_mun": "Municipio",
   "sidebar.filter_faz": "Hacienda",

src/i18n/locales/pt.json

@@ -506,6 +506,17 @@
   "comparative.hourly.download": "Baixar série horária (CSV)",
   "sidebar.filters_title": "Filtros Globais",
   "sidebar.rep_method_label": "Tratamento de Réplicas",
+  "sidebar.rep.media": "Média das Réplicas",
+  "sidebar.rep.mediana": "Mediana das Réplicas",
+  "sidebar.rep.desdobrar": "Desdobrar em Linhas",
+  "sidebar.rep.replica_1": "Réplica 1 Apenas",
+  "sidebar.rep.replica_2": "Réplica 2 Apenas",
+  "sidebar.rep.replica_3": "Réplica 3 Apenas (IAF)",
+  "sidebar.rep.mediana_note": "Com n=2 réplicas (Chl a, Chl b), a mediana é matematicamente idêntica à média. O ganho de robustez aparece apenas no IAF (n=3), onde a mediana descarta o valor mais extremo entre as três leituras.",
+  "pipeline.rep_grouped": "Agrupado",
+  "pipeline.rep_expanded": "Expandido",
+  "pipeline.rep_method_label": "Alterar Tratamento de Réplicas:",
+  "pipeline.section_info": "Pipeline de Limpeza Automatizada de Fisiologia",
   "sidebar.filter_crop": "Cultura",
   "sidebar.filter_mun": "Município",
   "sidebar.filter_faz": "Fazenda",

src/pages/pipeline.py

@@ -32,20 +32,25 @@ def render():
 
     # Exibe a opção de tratamento de réplicas também na página para conveniência
     method_options = {
-        "media": "Média das Réplicas (Agrupado)",
-        "desdobrar": "Desdobrar em Linhas (Expandido)",
-        "replica_1": "Réplica 1 Apenas",
-        "replica_2": "Réplica 2 Apenas",
-        "replica_3": "Réplica 3 Apenas (IAF)"
+        "media": t("sidebar.rep.media", default="Média das Réplicas") + " (" + t("pipeline.rep_grouped", default="Agrupado") + ")",
+        "mediana": t("sidebar.rep.mediana", default="Mediana das Réplicas") + " (" + t("pipeline.rep_grouped", default="Agrupado") + ")",
+        "desdobrar": t("sidebar.rep.desdobrar", default="Desdobrar em Linhas") + " (" + t("pipeline.rep_expanded", default="Expandido") + ")",
+        "replica_1": t("sidebar.rep.replica_1", default="Réplica 1 Apenas"),
+        "replica_2": t("sidebar.rep.replica_2", default="Réplica 2 Apenas"),
+        "replica_3": t("sidebar.rep.replica_3", default="Réplica 3 Apenas (IAF)"),
     }
-    
+
+    method_keys = list(method_options.keys())
+    method_idx = method_keys.index(rep_method) if rep_method in method_keys else 0
     selected_method = st.selectbox(
         t("pipeline.rep_method_label", default="Alterar Tratamento de Réplicas:"),
-        options=list(method_options.keys()),
-        index=list(method_options.keys()).index(rep_method),
+        options=method_keys,
+        index=method_idx,
         format_func=lambda x: method_options[x],
         key="pipeline_rep_method"
     )
+    if selected_method == "mediana":
+        st.caption(":information_source: " + t("sidebar.rep.mediana_note"))
 
     # Se mudar na página, atualiza e re-executa
     if selected_method != rep_method:

src/pipeline.py

@@ -64,7 +64,9 @@ def clean_fisiologia_data(
     """Aplica o pipeline completo de limpeza e tratamento de réplicas de Fisiologia.
 
     Modos de tratamento de réplicas (rep_method):
-    - "media": Calcula a média entre as repetições disponíveis.
+    - "media": Calcula a média aritmética entre as repetições disponíveis.
+    - "mediana": Calcula a mediana entre as repetições (robusta a outliers; com
+      n=2 réplicas é matematicamente idêntica à média).
     - "desdobrar": Desdobra as réplicas 1, 2 e 3 em linhas independentes.
     - "replica_1": Utiliza apenas as colunas da réplica 1.
     - "replica_2": Utiliza apenas as colunas da réplica 2.
@@ -147,6 +149,29 @@ def clean_fisiologia_data(
 
         step_desc = "Consolidação de réplicas por média aritmética"
 
+    elif rep_method == "mediana":
+        # Mediana das réplicas: mais robusta a outliers que a média.
+        # Note: com n=2 (Chl a/b), mediana == média; o ganho aparece em IAF (n=3).
+        # Os nomes das colunas de saída ficam idênticos ("Chl_a_media", "IAF_media",
+        # etc.) para manter compatibilidade com filtros, EDA e modelagem; apenas o
+        # cálculo subjacente muda.
+        if c_chl_a or c_chl_a_1:
+            out["Chl_a_media"] = out[[c for c in [c_chl_a, c_chl_a_1] if c]].median(axis=1)
+        else:
+            out["Chl_a_media"] = np.nan
+
+        if c_chl_b or c_chl_b_1:
+            out["Chl_b_media"] = out[[c for c in [c_chl_b, c_chl_b_1] if c]].median(axis=1)
+        else:
+            out["Chl_b_media"] = np.nan
+
+        if c_iaf or c_iaf_1 or c_iaf_2:
+            out["IAF_media"] = out[[c for c in [c_iaf, c_iaf_1, c_iaf_2] if c]].median(axis=1)
+        else:
+            out["IAF_media"] = np.nan
+
+        step_desc = "Consolidação de réplicas por mediana"
+
     elif rep_method == "desdobrar":
         # Cria três dataframes independentes representando cada réplica
         dfs = []

tests/test_pipeline.py

@@ -108,6 +108,36 @@ def test_clean_pipeline_replica_especifica(self):
         assert row2["Chl_a_media"] == 28.0  # valor de Chl a.1 (Replica 2)
         assert row2["IAF_media"] == 2.8
 
+    def test_clean_pipeline_mediana(self):
+        df_clean, logs = clean_fisiologia_data(self.df_raw, rep_method="mediana")
+        assert len(df_clean) == 1
+        row = df_clean.iloc[0]
+        # Chl a: median(30.0, 28.0) = 29.0  → idêntico à média com n=2
+        assert row["Chl_a_media"] == pytest.approx(29.0)
+        # Chl b: median(10.0, 8.0) = 9.0  → idêntico à média com n=2
+        assert row["Chl_b_media"] == pytest.approx(9.0)
+        # IAF: median(3.0, 2.8, 3.2) = 3.0  → coincide com a média neste caso
+        assert row["IAF_media"] == pytest.approx(3.0)
+        # Verifica que a etapa correta foi registrada
+        assert any("mediana" in step.step.lower() for step in logs)
+
+    def test_mediana_robustness_with_outlier_iaf(self):
+        # Cenário em que mediana e média divergem: outlier em IAF.2.
+        df = pd.DataFrame({
+            "Cultura": ["Soja"],
+            "Uso atual": ["Perene"],
+            "Época": ["Verão"],
+            "A": [25.0],
+            "IAF": [3.0],
+            "IAF.1": [3.1],
+            "IAF.2": [99.0],  # leitura espúria (ex.: ceptômetro lendo o céu)
+        })
+        media_clean, _ = clean_fisiologia_data(df, rep_method="media")
+        mediana_clean, _ = clean_fisiologia_data(df, rep_method="mediana")
+        # média puxa o resultado pelo outlier; mediana descarta-o
+        assert media_clean.iloc[0]["IAF_media"] == pytest.approx((3.0 + 3.1 + 99.0) / 3)
+        assert mediana_clean.iloc[0]["IAF_media"] == pytest.approx(3.1)
+
 
 class TestBuildStepReport:
     def test_percent_removed(self):