Data Cleaning

Limpeza e normalização do arquivo bruto

Author

Marlon L.

Published

May 7, 2026

📁 Projeto: whatsapp-interaction-analysis

Data Cleaning

Com base nas descobertas documentadas no Data Profiling, esta etapa implementa as transformações de limpeza necessárias para preparar o arquivo bruto para parsing e análise.

Objetivo

Transformar o arquivo bruto exportado do WhatsApp em um arquivo limpo e otimizado, removendo caracteres invisíveis, linhas vazias, normalizando espaços e anonimizando participantes.

Configuração do Pipeline

Parâmetro	Valor	Path
Entrada	`raw-data.txt`	~/whatsapp-interaction-analysis/data/raw/export_2024-10_2025-10
Saída	`export_2024-10_2025-10`	~/whatsapp-interaction-analysis/data/interim/export_2024-10_2025-10

Execução do Pipeline

#	Etapa	Resultado
1	Remoção U+200E	48,699 caracteres
2	Anonimização	91,968 substituições
3	Otimização timestamps	91,968 timestamps
4	Normalização indentação	3,038 espaços
5	Remoção linhas vazias	1,156 linhas
6	Normalização espaços	1,003 bytes
7	Remoção timestamps vazios	39 linhas


✅ Pipeline concluído!

📉 Redução: 5.04 MB → 4.10 MB (18.6%)
📄 Arquivo: raw-data_cln7.txt

Pipeline de Transformação

Etapa 1: Remoção U+200E

O caractere U+200E (Left-to-Right Mark) é um caractere de formatação invisível usado para controle de direção de texto. O WhatsApp o insere sistematicamente durante a exportação, mas não carrega informação semântica útil.

Impacto identificado: ~48.700 ocorrências, ~243 KB, presente em ~50% das linhas.

Resultado:

Caracteres Removidos: 48,699

Auditoria:

Métrica	Valor
Entrada	5.04 MB (97,333 linhas)
Saída	4.81 MB (97,333 linhas)
Redução	243,430 bytes (4.61%)

Etapa 2: Anonimização

Substitui nomes dos participantes por identificadores genéricos: - Marlon → P1 - Lê 🖤 → P2

Resultado:

Marlon: 46,975
Lê 🖤: 44,993

Auditoria:

Métrica	Valor
Entrada	4.81 MB (97,333 linhas)
Saída	4.37 MB (97,333 linhas)
Redução	457,858 bytes (9.08%)

Etapa 3: Otimização timestamps

Remove delimitadores redundantes para facilitar o parsing: - De: [28/11/24, 19:30:05] P1: Mensagem - Para: 28/11/24 19:30:05 P1: Mensagem

Resultado:

Timestamps Otimizados: 91,968

Auditoria:

Métrica	Valor
Entrada	4.37 MB (97,333 linhas)
Saída	4.11 MB (97,333 linhas)
Redução	275,904 bytes (6.02%)

Etapa 4: Normalização indentação

Remove espaços/tabs iniciais de linhas de continuação (mensagens multilinha). Esses espaços são visuais e não carregam informação semântica.

Resultado:

Espacos Removidos: 3,038

Auditoria:

Métrica	Valor
Entrada	4.11 MB (97,333 linhas)
Saída	4.10 MB (97,333 linhas)
Redução	3,038 bytes (0.07%)

Etapa 5: Remoção linhas vazias

Linhas completamente vazias (apenas \n) aparecem entre mensagens e não carregam informação. Serão removidas preservando a formatação interna.

Resultado:

Linhas Removidas: 1,156

Auditoria:

Métrica	Valor
Entrada	4.10 MB (97,333 linhas)
Saída	4.10 MB (96,177 linhas)
Redução	1,156 bytes (0.03%)

Etapa 6: Normalização espaços

Normaliza espaços em branco internos: - Múltiplos espaços → espaço único - Tabs → espaço único
- Trailing whitespace → removido - Preserva: Indentação inicial

Resultado:

Bytes Economizados: 1,003

Auditoria:

Métrica	Valor
Entrada	4.10 MB (96,177 linhas)
Saída	4.10 MB (96,177 linhas)
Redução	1,003 bytes (0.02%)

Etapa 7: Remoção timestamps vazios

Quando múltiplas mídias são enviadas simultaneamente, o WhatsApp registra uma linha com timestamp vazio seguida das mídias. A primeira linha é redundante.

Resultado:

Linhas Removidas: 39

Auditoria:

Métrica	Valor
Entrada	4.10 MB (96,177 linhas)
Saída	4.10 MB (96,138 linhas)
Redução	858 bytes (0.02%)

Auditoria Final do Pipeline

Estágio	Linhas	Chars	Tamanho	Δ Linhas	Δ Chars	Δ %
📄 Original (raw-data.txt)	97,333	4,846,244	5.04 MB	-	-	-
└─ Remoção U+200E	97,333	4,797,545	4.81 MB	-	-48,699	-4.61%
└─ Anonimização	97,333	4,519,659	4.37 MB	-	-277,886	-9.08%
└─ Otimização timestamps	97,333	4,243,755	4.11 MB	-	-275,904	-6.02%
└─ Normalização indentação	97,333	4,240,717	4.10 MB	-	-3,038	-0.07%
└─ Remoção linhas vazias	96,177	4,239,561	4.10 MB	-1,156	-1,156	-0.03%
└─ Normalização espaços	96,177	4,238,560	4.10 MB	-	-1,001	-0.02%
└─ Remoção timestamps vazios	96,138	4,237,702	4.10 MB	-39	-858	-0.02%

Etapa	Tamanho Após	Bytes Removidos	Linhas Removidas	Chars Removidos	Redução %
1️⃣ Remoção U+200E	4.81 MB	243,430	-	48,699	4.61%
2️⃣ Anonimização	4.37 MB	457,858	-	277,886	9.08%
3️⃣ Otimização timestamps	4.11 MB	275,904	-	275,904	6.02%
4️⃣ Normalização indentação	4.10 MB	3,038	-	3,038	0.07%
5️⃣ Remoção linhas vazias	4.10 MB	1,156	1,156	1,156	0.03%
6️⃣ Normalização espaços	4.10 MB	1,003	-	1,001	0.02%
7️⃣ Remoção timestamps vazios	4.10 MB	858	39	858	0.02%

🎯 Resultado Final

Métrica	Valor
Arquivo original	5.04 MB
Arquivo final	4.10 MB
Redução (bytes)	983,247
Redução (%)	18.61%
Linhas removidas	1,195
Caracteres removidos	608,542

✅ Arquivo de saída: raw-data_cln7.txt

O arquivo limpo está pronto para a próxima etapa: parsing e estruturação em DataFrame.

💡 Impacto da Limpeza

**Redução no Arquivo Bruto:**

- Original: 5.04 MB
- Após limpeza: 4.10 MB
- Redução: 18.61%

**Projeção para Dataset Enriquecido (~8x):**

- Sem otimização: ~40.3 MB
- Com otimização: ~32.8 MB
- Economia projetada: ~7.5 MB

Benefícios:

Menos dados para armazenar
Processamento mais rápido
Transferências mais eficientes

Arquivo de Saída

O arquivo final agora possui:

✅ Formato otimizado: DD/MM/YY HH:MM:SS Remetente: Conteúdo
✅ Participantes anonimizados (P1, P2)
✅ Sem caracteres invisíveis
✅ Sem linhas/timestamps vazios
✅ Espaços e indentação normalizados

📋 Regex para parsing do arquivo limpo

# Padrão para identificar início de mensagem
message_pattern = r'^(\d{2}/\d{2}/\d{2}) (\d{2}:\d{2}:\d{2}) (.+?): (.*)$'

# Grupos de captura:
# 1: Data (DD/MM/YY)
# 2: Hora (HH:MM:SS)
# 3: Remetente (P1 ou P2)
# 4: Conteúdo da mensagem

Próximos Passos

Com o arquivo limpo, seguimos para:

Data Wrangling — Parsing, agregação de multilinha, vinculação de mídia

--- title: "Data Cleaning" subtitle: "Limpeza e normalização do arquivo bruto" author: "Marlon L." date: today format: html: toc: true toc-depth: 3 code-fold: true theme: cosmo execute: warning: false echo: false --- ```{python} #| label: setup #| code-fold: false import pandas as pd from pathlib import Path from whatsapp.pipeline.config import PROJECT_ROOT, PATHS from whatsapp.pipeline.cleaning import run_pipeline, CLEANING_STEPS from whatsapp.pipeline.utils import format_audit_table, format_summary_table, generate_impact_analysis, format_markdown_lists # Define arquivos RAW_FILE = PATHS['raw'] INTERIM_DIR = PATHS['interim'] ``` 📁 Projeto: `{python} PROJECT_ROOT.name` # Data Cleaning Com base nas descobertas documentadas no [Data Profiling](00-data-profiling.qmd), esta etapa implementa as transformações de limpeza necessárias para preparar o arquivo bruto para parsing e análise. ## Objetivo Transformar o arquivo bruto exportado do WhatsApp em um arquivo limpo e otimizado, removendo caracteres invisíveis, linhas vazias, normalizando espaços e anonimizando participantes. ------------------------------------------------------------------------ ## Configuração do Pipeline ```{python} # Helper: converte path absoluto em relativo ao projeto def format_relative_path(full_path): full_str = str(full_path) if 'whatsapp-interaction-analysis' in full_str: idx = full_str.find('whatsapp-interaction-analysis') return '~/' + full_str[idx:] return full_str # Exibe configuração em tabela config_data = [ {'Parâmetro': 'Entrada', 'Valor': f'<code>{RAW_FILE.name}</code>', 'Path': format_relative_path(RAW_FILE.parent)}, {'Parâmetro': 'Saída', 'Valor': f'<code>{INTERIM_DIR.name}</code>', 'Path': format_relative_path(INTERIM_DIR)}, ] df_config = pd.DataFrame(config_data) display(df_config.style.hide(axis='index')) ``` ------------------------------------------------------------------------ ## Execução do Pipeline ```{python} #| label: pipeline-config #| code-fold: false # Etapas disponíveis: u200e, empty_timestamps, empty_lines, whitespace, anonymize, timestamps, indentation PIPELINE_ORDER = [ 'u200e', 'anonymize', 'timestamps', 'indentation', 'empty_lines', 'whitespace', 'empty_timestamps', ] ``` ```{python} #| label: execute-pipeline #| output: false # Executa o pipeline result = run_pipeline( order=PIPELINE_ORDER, raw_file=RAW_FILE, output_dir=INTERIM_DIR, show_progress=True ) # Extrai resultados para uso posterior outputs = result['outputs'] audits = result['audits'] metrics = result['metrics'] df_audit = result['df_audit'] totals = result['totals'] FINAL_OUTPUT = result['final_output'] ``` ```{python} # Tabela de execução do pipeline etapas = [] for i, step_id in enumerate(PIPELINE_ORDER): step = CLEANING_STEPS[step_id] step_metrics = metrics[step_id] # Pega métrica principal de cada etapa (estrutura varia por etapa) if 'caracteres_removidos' in step_metrics: resultado = f"{step_metrics['caracteres_removidos']:,} caracteres" elif 'linhas_removidas' in step_metrics: resultado = f"{step_metrics['linhas_removidas']:,} linhas" elif 'timestamps_otimizados' in step_metrics: resultado = f"{step_metrics['timestamps_otimizados']:,} timestamps" elif 'espacos_removidos' in step_metrics: resultado = f"{step_metrics['espacos_removidos']:,} espaços" elif 'bytes_economizados' in step_metrics: resultado = f"{step_metrics['bytes_economizados']:,} bytes" elif 'substituicoes' in step_metrics: # substituicoes é um dict com contagens por participante subs = step_metrics['substituicoes'] total_subs = sum(subs.values()) if isinstance(subs, dict) else subs resultado = f"{total_subs:,} substituições" else: resultado = "✓" etapas.append({ '#': str(i + 1), 'Etapa': step['name'], 'Resultado': resultado }) display(pd.DataFrame(etapas).style.hide(axis='index')) # Resumo final print() print("✅ Pipeline concluído!") print() print(f"📉 Redução: {totals['original_formatted']} → {totals['final_formatted']} ({totals['total_percent']:.1f}%)") print(f"📄 Arquivo: {FINAL_OUTPUT.name}") ``` ------------------------------------------------------------------------ ## Pipeline de Transformação ```{python} #| label: render-pipeline #| output: asis #| echo: false # Renderiza cada etapa em Markdown puro (padrão Wrangling) for i, step_id in enumerate(PIPELINE_ORDER): step = CLEANING_STEPS[step_id] step_num = i + 1 audit = audits[step_id] step_metrics = metrics[step_id] # Header da etapa print(f"### Etapa {step_num}: {step['name']}\n") print(f"{step['description']}\n") # Métricas como lista print("**Resultado:**\n") for key, value in step_metrics.items(): if isinstance(value, dict): for k, v in value.items(): print(f"- {k}: {v:,}") else: label = key.replace('_', ' ').title() print(f"- {label}: {value:,}") print() # Auditoria como tabela print("**Auditoria:**\n") print("| Métrica | Valor |") print("|---------|-------|") print(f"| Entrada | {audit['input']['size_formatted']} ({audit['input']['total_lines']:,} linhas) |") print(f"| Saída | {audit['output']['size_formatted']} ({audit['output']['total_lines']:,} linhas) |") print(f"| Redução | {audit['delta_bytes']:,} bytes ({audit['delta_percent']:.2f}%) |") print() ``` ------------------------------------------------------------------------ ## Auditoria Final do Pipeline ```{python} #| label: prepare-audit-list #| output: false # Lista de audits na ordem do pipeline audit_list = [audits[step_id] for step_id in PIPELINE_ORDER] ``` ::: panel-tabset ## Comparação de Estágios ```{python} #| label: show-audit-table #| echo: false display(format_audit_table(df_audit, include_chars=True).style.hide(axis='index')) ``` ## Resumo por Etapa ```{python} #| label: show-summary #| echo: false display(format_summary_table(audit_list).style.hide(axis='index')) ``` ::: ------------------------------------------------------------------------ ## 🎯 Resultado Final ```{python} #| label: prepare-final-summary #| output: false # Prepara dados para tabela consolidada summary_data = [ {'Métrica': 'Arquivo original', 'Valor': totals['original_formatted']}, {'Métrica': 'Arquivo final', 'Valor': totals['final_formatted']}, {'Métrica': 'Redução (bytes)', 'Valor': f"{totals['total_bytes']:,}"}, {'Métrica': 'Redução (%)', 'Valor': f"{totals['total_percent']:.2f}%"}, {'Métrica': 'Linhas removidas', 'Valor': f"{totals['total_lines']:,}"}, {'Métrica': 'Caracteres removidos', 'Valor': f"{totals['total_chars']:,}"}, ] df_final_summary = pd.DataFrame(summary_data) ``` ```{python} #| label: show-final-summary #| echo: false display(df_final_summary.style.hide(axis='index')) ``` ✅ **Arquivo de saída:** `{python} FINAL_OUTPUT.name` O arquivo limpo está pronto para a próxima etapa: **parsing e estruturação em DataFrame**. ------------------------------------------------------------------------ ## 💡 Impacto da Limpeza ```{python} #| echo: false impact = generate_impact_analysis(totals, enrichment_factor=8.0) print("**Redução no Arquivo Bruto:**") print() print(f"- Original: {impact['original_mb']:.2f} MB") print(f"- Após limpeza: {impact['final_mb']:.2f} MB") print(f"- Redução: {impact['reduction_pct']:.2f}%") print() print("**Projeção para Dataset Enriquecido (~8x):**") print() print(f"- Sem otimização: ~{impact['projected_original_mb']:.1f} MB") print(f"- Com otimização: ~{impact['projected_optimized_mb']:.1f} MB") print(f"- Economia projetada: ~{impact['projected_savings_mb']:.1f} MB") ``` **Benefícios:** - Menos dados para armazenar - Processamento mais rápido - Transferências mais eficientes ------------------------------------------------------------------------ ## Arquivo de Saída O arquivo final agora possui: - ✅ Formato otimizado: `DD/MM/YY HH:MM:SS Remetente: Conteúdo` - ✅ Participantes anonimizados (P1, P2) - ✅ Sem caracteres invisíveis - ✅ Sem linhas/timestamps vazios - ✅ Espaços e indentação normalizados ::: {.callout-note appearance="simple" collapse="true"} ### 📋 Regex para parsing do arquivo limpo ``` python # Padrão para identificar início de mensagem message_pattern = r'^(\d{2}/\d{2}/\d{2}) (\d{2}:\d{2}:\d{2}) (.+?): (.*)$' # Grupos de captura: # 1: Data (DD/MM/YY) # 2: Hora (HH:MM:SS) # 3: Remetente (P1 ou P2) # 4: Conteúdo da mensagem ``` ::: ------------------------------------------------------------------------ # Próximos Passos Com o arquivo limpo, seguimos para: 1. [**Data Wrangling**](02-data-wrangling.qmd) — Parsing, agregação de multilinha, vinculação de mídia