Data Cleaning

Limpeza e normalização do arquivo bruto

Author

Marlon L.

Published

May 7, 2026

---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
Cell In[1], line 12
      8 # Carrega .env e adiciona src ao path
      9 load_dotenv()
     10 sys.path.insert(0, os.getenv('PROJECT_ROOT') + '/src')
     11 
---> 12 from config import PROJECT_ROOT, PATHS
     13 from utils import (
     14     audit_transformation,
     15     audit_pipeline,

ModuleNotFoundError: No module named 'config'

Data Cleaning

Com base nas descobertas documentadas no Data Profiling, esta etapa implementa as transformações de limpeza necessárias para preparar o arquivo bruto para parsing e análise.

Objetivo

Transformar o arquivo bruto exportado do WhatsApp em um arquivo limpo e otimizado, removendo:

✅ Caracteres invisíveis (U+200E)
✅ Timestamps vazios (múltiplas mídias)
✅ Linhas vazias
✅ Espaços em branco excessivos
✅ Nomes de participantes (anonimização)
✅ Delimitadores redundantes de timestamp
✅ Indentação desnecessária em linhas de continuação

Pipeline de Transformação

▸ Etapa 1: Remoção do caractere U+200E

Sobre o U+200E

O caractere U+200E (Left-to-Right Mark) é um caractere de formatação invisível usado para controle de direção de texto. O WhatsApp o insere sistematicamente durante a exportação, mas não carrega informação semântica útil para nossa análise.

Impacto identificado no profiling:

~48.700 ocorrências
~243 KB do arquivo
Presente em ~50% das linhas

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[2], line 18
     14 
     15     return total_occurrences
     16 
     17 # Define arquivos
---> 18 input_1 = RAW_FILE
     19 output_1 = INTERIM_DIR / 'raw-data_cln1.txt'
     20 
     21 # Executa transformação

NameError: name 'RAW_FILE' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[3], line 1
----> 1 audit_1 = audit_transformation(input_1, output_1, "Remoção U+200E")

NameError: name 'audit_transformation' is not defined

▸ Etapa 2: Remoção de timestamps vazios

Sobre timestamps vazios

Quando múltiplas mídias são enviadas simultaneamente, o WhatsApp registra uma linha com timestamp e remetente vazios, seguida das mídias. Exemplo:

[24/08/25, 16:38:36] Lê 🖤:
[24/08/25, 16:38:37] Lê 🖤: <attached: foto1.jpg>
[24/08/25, 16:38:38] Lê 🖤: <attached: foto2.jpg>

A primeira linha é redundante e será removida.

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[4], line 38
     34 
     35     return len(lines_to_skip)
     36 
     37 # Define arquivos
---> 38 input_2 = output_1
     39 output_2 = INTERIM_DIR / 'raw-data_cln2.txt'
     40 
     41 # Executa transformação

NameError: name 'output_1' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[5], line 1
----> 1 audit_2 = audit_transformation(input_2, output_2, "Remoção timestamps vazios")

NameError: name 'audit_transformation' is not defined

▸ Etapa 3: Remoção de linhas vazias

Sobre linhas vazias

Linhas completamente vazias (apenas \n) aparecem entre mensagens e não carregam informação. Serão removidas preservando a formatação interna das mensagens multilinha.

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[6], line 13
      9 
     10     return len(lines) - len(cleaned_lines)
     11 
     12 # Define arquivos
---> 13 input_3 = output_2
     14 output_3 = INTERIM_DIR / 'raw-data_cln3.txt'
     15 
     16 # Executa transformação

NameError: name 'output_2' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[7], line 1
----> 1 audit_3 = audit_transformation(input_3, output_3, "Remoção linhas vazias")

NameError: name 'audit_transformation' is not defined

▸ Etapa 4: Normalização de espaços internos

Sobre espaços em branco

Espaços excessivos, tabs e trailing whitespace no meio do conteúdo são normalizados:

Múltiplos espaços consecutivos → espaço único
Tabs → espaço único
Espaços no final das linhas → removidos
Preserva: Indentação inicial (será tratada na Etapa 7)

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[8], line 32
     28 
     29     return original - cleaned
     30 
     31 # Define arquivos
---> 32 input_4 = output_3
     33 output_4 = INTERIM_DIR / 'raw-data_cln4.txt'
     34 
     35 # Executa transformação

NameError: name 'output_3' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[9], line 1
----> 1 audit_4 = audit_transformation(input_4, output_4, "Normalização espaços")

NameError: name 'audit_transformation' is not defined

▸ Etapa 5: Anonimização de participantes

Sobre anonimização

Os nomes dos participantes são substituídos por identificadores genéricos para preservar privacidade:

Original	Anônimo
Marlon	P1
Lê 🖤	P2

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[10], line 28
     24 
     25     return replacements
     26 
     27 # Define arquivos
---> 28 input_5 = output_4
     29 output_5 = INTERIM_DIR / 'raw-data_cln5.txt'
     30 
     31 # Executa transformação

NameError: name 'output_4' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[11], line 1
----> 1 audit_5 = audit_transformation(input_5, output_5, "Anonimização")

NameError: name 'audit_transformation' is not defined

▸ Etapa 6: Otimização do formato de timestamp

Sobre otimização de timestamp

Remove delimitadores redundantes para facilitar o parsing:

De:   [28/11/24, 19:30:05] P1: Mensagem
Para: 28/11/24 19:30:05 P1: Mensagem

Economiza 4 caracteres por mensagem ([, ], ,, espaço extra).

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[12], line 27
     23 
     24     return count
     25 
     26 # Define arquivos
---> 27 input_6 = output_5
     28 output_6 = INTERIM_DIR / 'raw-data_cln6.txt'
     29 
     30 # Executa transformação

NameError: name 'output_5' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[13], line 1
----> 1 audit_6 = audit_transformation(input_6, output_6, "Otimização timestamps")

NameError: name 'audit_transformation' is not defined

▸ Etapa 7: Normalização de indentação

Sobre indentação em linhas de continuação

Mensagens multilinha frequentemente contêm espaços de indentação no início das linhas de continuação. Exemplo:

28/11/24 19:30:05 P2: *🪙 Colombia 🪙*
        R$ 22 o grama.
        25g. $20 ▪️ 50g. $18

Esses espaços iniciais são visuais e podem ser removidos, preservando o conteúdo.

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[14], line 29
     25 
     26     return spaces_removed
     27 
     28 # Define arquivos
---> 29 input_7 = output_6
     30 output_7 = INTERIM_DIR / 'raw-data_cln7.txt'
     31 
     32 # Executa transformação

NameError: name 'output_6' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[15], line 1
----> 1 audit_7 = audit_transformation(input_7, output_7, "Normalização indentação")

NameError: name 'audit_transformation' is not defined

Auditoria Final do Pipeline

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[17], line 1
----> 1 format_audit_table(df_audit, include_chars=True).style.hide(axis='index')

NameError: name 'format_audit_table' is not defined

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[18], line 1
----> 1 audits = [audit_1, audit_2, audit_3, audit_4, audit_5, audit_6, audit_7]
      2 format_summary_table(audits).style.hide(axis='index')

NameError: name 'audit_1' is not defined

🎯 Resultado Final

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[19], line 1
----> 1 print(f"📁 Arquivo original: {totals['original_formatted']}")
      2 print(f"📁 Arquivo final: {totals['final_formatted']}")
      3 print(f"📦 Redução total: {totals['total_bytes']:,} bytes ({totals['total_percent']:.2f}%)")
      4 print(f"📉 Linhas removidas: {totals['total_lines']:,}")

NameError: name 'totals' is not defined

O arquivo limpo está pronto para a próxima etapa: parsing e estruturação em DataFrame.

📊 Reflexão: Impacto no Dataset Enriquecido

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
Cell In[20], line 2
      1 # Gera análise de impacto
----> 2 impact = generate_impact_analysis(totals, enrichment_factor=8.0)
      3 
      4 print(f"📁 Arquivo bruto:")
      5 print(f"   • Original: {impact['original_mb']:.2f} MB")

NameError: name 'generate_impact_analysis' is not defined

A limpeza realizada nesta etapa não apenas organiza os dados, mas reduz significativamente o custo computacional de todas as operações subsequentes. Em um dataset que cresce com transcrições de áudio, features derivadas e metadados, cada byte economizado na base se multiplica.

Arquivo de Saída

O arquivo raw-data_cln7.txt agora possui:

✅ Formato otimizado: DD/MM/YY HH:MM:SS Remetente: Conteúdo
✅ Participantes anonimizados (P1, P2)
✅ Sem caracteres invisíveis
✅ Sem linhas/timestamps vazios
✅ Espaços e indentação normalizados

📋 Regex para parsing do arquivo limpo

# Padrão para identificar início de mensagem
message_pattern = r'^(\d{2}/\d{2}/\d{2}) (\d{2}:\d{2}:\d{2}) (.+?): (.*)$'

# Grupos de captura:
# 1: Data (DD/MM/YY)
# 2: Hora (HH:MM:SS)
# 3: Remetente (P1 ou P2)
# 4: Conteúdo da mensagem

Próximos Passos

Com o arquivo limpo, seguimos para:

Data Wrangling — Parsing, agregação de multilinha, vinculação de mídia
Feature Engineering — Criação de variáveis derivadas

--- title: "Data Cleaning" subtitle: "Limpeza e normalização do arquivo bruto" author: "Marlon L." date: today format: html: toc: true toc-depth: 3 code-fold: true theme: cosmo execute: warning: false echo: false --- ```{python} #| label: setup #| code-fold: false import sys import re import os from dotenv import load_dotenv import pandas as pd from pathlib import Path # Carrega .env e adiciona src ao path load_dotenv() sys.path.insert(0, os.getenv('PROJECT_ROOT') + '/src') from config import PROJECT_ROOT, PATHS from utils import ( audit_transformation, audit_pipeline, format_audit_table, format_summary_table, generate_impact_analysis ) # Define arquivos RAW_FILE = PATHS['raw'] INTERIM_DIR = PATHS['interim'] # Garante que diretório interim existe INTERIM_DIR.mkdir(parents=True, exist_ok=True) print(f"📁 Projeto: {PROJECT_ROOT}") print(f"📄 Arquivo de entrada: {RAW_FILE.name}") print(f"📂 Diretório de saída: {INTERIM_DIR}") ``` # Data Cleaning Com base nas descobertas documentadas no [Data Profiling](00-data-profiling.qmd), esta etapa implementa as transformações de limpeza necessárias para preparar o arquivo bruto para parsing e análise. ## Objetivo Transformar o arquivo bruto exportado do WhatsApp em um arquivo limpo e otimizado, removendo: - ✅ Caracteres invisíveis (U+200E) - ✅ Timestamps vazios (múltiplas mídias) - ✅ Linhas vazias - ✅ Espaços em branco excessivos - ✅ Nomes de participantes (anonimização) - ✅ Delimitadores redundantes de timestamp - ✅ Indentação desnecessária em linhas de continuação ------------------------------------------------------------------------ ## Pipeline de Transformação <details style="margin: 0.5em 0; list-style: none; border: 1px solid #d4d4d4; border-radius: 5px; padding: 10px;"> <summary style="font-size: 1.3em; font-weight: 600; color: #343a40; list-style: none;"> ▸ Etapa 1: Remoção do caractere U+200E </summary> ::: {.callout-note appearance="simple" collapse="false"} ### Sobre o U+200E O caractere `U+200E` (Left-to-Right Mark) é um caractere de formatação invisível usado para controle de direção de texto. O WhatsApp o insere sistematicamente durante a exportação, mas não carrega informação semântica útil para nossa análise. **Impacto identificado no profiling:** - \~48.700 ocorrências - \~243 KB do arquivo - Presente em \~50% das linhas ::: ```{python} #| label: step1-remove-u200e def remove_invisible_char(input_file, output_file): """Remove todas as ocorrências do caractere invisível U+200E.""" invisible_char = '\u200e' total_occurrences = 0 with open(input_file, 'r', encoding='utf-8') as f_in: with open(output_file, 'w', encoding='utf-8') as f_out: for line in f_in: occurrences = line.count(invisible_char) total_occurrences += occurrences cleaned_line = line.replace(invisible_char, '') f_out.write(cleaned_line) return total_occurrences # Define arquivos input_1 = RAW_FILE output_1 = INTERIM_DIR / 'raw-data_cln1.txt' # Executa transformação print("🔄 Removendo caractere U+200E...\n") removed_count = remove_invisible_char(input_1, output_1) print(f"✅ Caracteres removidos: {removed_count:,}") ``` ```{python} #| label: audit-step1 audit_1 = audit_transformation(input_1, output_1, "Remoção U+200E") ``` </details> <details style="margin: 0.5em 0; list-style: none; border: 1px solid #d4d4d4; border-radius: 5px; padding: 10px;"> <summary style="font-size: 1.3em; font-weight: 600; color: #343a40; list-style: none;"> ▸ Etapa 2: Remoção de timestamps vazios </summary> ::: {.callout-note appearance="simple" collapse="false"} ### Sobre timestamps vazios Quando múltiplas mídias são enviadas simultaneamente, o WhatsApp registra uma linha com timestamp e remetente vazios, seguida das mídias. Exemplo: ``` [24/08/25, 16:38:36] Lê 🖤: [24/08/25, 16:38:37] Lê 🖤: <attached: foto1.jpg> [24/08/25, 16:38:38] Lê 🖤: <attached: foto2.jpg> ``` A primeira linha é redundante e será removida. ::: ```{python} #| label: step2-remove-empty-timestamps def remove_empty_timestamps(input_file, output_file): """ Remove timestamps vazios seguidos de múltiplas mídias consecutivas (≥2). """ timestamp_pattern = r'^\[\d{2}/\d{2}/\d{2}, \d{2}:\d{2}:\d{2}\]' media_patterns = [ '<attached:', 'audio omitted', 'image omitted', 'video omitted', 'sticker omitted', 'GIF omitted', 'document omitted' ] lines = open(input_file, 'r', encoding='utf-8').readlines() lines_to_skip = set() for i in range(len(lines) - 2): current = lines[i].strip() next_line = lines[i + 1].strip() next_next = lines[i + 2].strip() if (re.match(timestamp_pattern, current) and current.endswith(':') and re.match(timestamp_pattern, next_line)): has_media_next = any(p in next_line for p in media_patterns) has_media_next_next = (re.match(timestamp_pattern, next_next) and any(p in next_next for p in media_patterns)) if has_media_next and has_media_next_next: lines_to_skip.add(i) cleaned_lines = [line for i, line in enumerate(lines) if i not in lines_to_skip] with open(output_file, 'w', encoding='utf-8') as f: f.writelines(cleaned_lines) return len(lines_to_skip) # Define arquivos input_2 = output_1 output_2 = INTERIM_DIR / 'raw-data_cln2.txt' # Executa transformação print("🔄 Removendo timestamps vazios...\n") removed_count = remove_empty_timestamps(input_2, output_2) print(f"✅ Linhas removidas: {removed_count:,}") ``` ```{python} #| label: audit-step2 audit_2 = audit_transformation(input_2, output_2, "Remoção timestamps vazios") ``` </details> <details style="margin: 0.5em 0; list-style: none; border: 1px solid #d4d4d4; border-radius: 5px; padding: 10px;"> <summary style="font-size: 1.3em; font-weight: 600; color: #343a40; list-style: none;"> ▸ Etapa 3: Remoção de linhas vazias </summary> ::: {.callout-note appearance="simple" collapse="false"} ### Sobre linhas vazias Linhas completamente vazias (apenas `\n`) aparecem entre mensagens e não carregam informação. Serão removidas preservando a formatação interna das mensagens multilinha. ::: ```{python} #| label: step3-remove-empty-lines def remove_empty_lines(input_file, output_file): """Remove linhas completamente vazias (apenas \\n).""" lines = open(input_file, 'r', encoding='utf-8').readlines() cleaned_lines = [line for line in lines if line != '\n'] with open(output_file, 'w', encoding='utf-8') as f: f.writelines(cleaned_lines) return len(lines) - len(cleaned_lines) # Define arquivos input_3 = output_2 output_3 = INTERIM_DIR / 'raw-data_cln3.txt' # Executa transformação print("🔄 Removendo linhas vazias...\n") removed_count = remove_empty_lines(input_3, output_3) print(f"✅ Linhas removidas: {removed_count:,}") ``` ```{python} #| label: audit-step3 audit_3 = audit_transformation(input_3, output_3, "Remoção linhas vazias") ``` </details> <details style="margin: 0.5em 0; list-style: none; border: 1px solid #d4d4d4; border-radius: 5px; padding: 10px;"> <summary style="font-size: 1.3em; font-weight: 600; color: #343a40; list-style: none;"> ▸ Etapa 4: Normalização de espaços internos </summary> ::: {.callout-note appearance="simple" collapse="false"} ### Sobre espaços em branco Espaços excessivos, tabs e trailing whitespace no meio do conteúdo são normalizados: - Múltiplos espaços consecutivos → espaço único - Tabs → espaço único - Espaços no final das linhas → removidos - **Preserva:** Indentação inicial (será tratada na Etapa 7) ::: ```{python} #| label: step4-normalize-whitespace def normalize_whitespace(input_file, output_file): """Normaliza espaços em branco, preservando indentação inicial.""" lines = open(input_file, 'r', encoding='utf-8').readlines() cleaned_lines = [] for line in lines: # Remove trailing whitespace line = line.rstrip() + '\n' # Separa indentação do conteúdo indent = len(line) - len(line.lstrip()) indentation = line[:indent] content = line[indent:] # Substitui tabs e múltiplos espaços no conteúdo content = content.replace('\t', ' ') content = re.sub(r' {2,}', ' ', content) cleaned_lines.append(indentation + content) with open(output_file, 'w', encoding='utf-8') as f: f.writelines(cleaned_lines) # Calcula bytes salvos original = sum(len(l.encode('utf-8')) for l in lines) cleaned = sum(len(l.encode('utf-8')) for l in cleaned_lines) return original - cleaned # Define arquivos input_4 = output_3 output_4 = INTERIM_DIR / 'raw-data_cln4.txt' # Executa transformação print("🔄 Normalizando espaços em branco...\n") bytes_saved = normalize_whitespace(input_4, output_4) print(f"✅ Bytes economizados: {bytes_saved:,}") ``` ```{python} #| label: audit-step4 audit_4 = audit_transformation(input_4, output_4, "Normalização espaços") ``` </details> <details style="margin: 0.5em 0; list-style: none; border: 1px solid #d4d4d4; border-radius: 5px; padding: 10px;"> <summary style="font-size: 1.3em; font-weight: 600; color: #343a40; list-style: none;"> ▸ Etapa 5: Anonimização de participantes </summary> ::: {.callout-note appearance="simple" collapse="false"} ### Sobre anonimização Os nomes dos participantes são substituídos por identificadores genéricos para preservar privacidade: | Original | Anônimo | |----------|---------| | Marlon | P1 | | Lê 🖤 | P2 | ::: ```{python} #| label: step5-anonymize def anonymize_participants(input_file, output_file, mapping=None): """Substitui nomes de participantes por identificadores anônimos.""" if mapping is None: mapping = { 'Marlon': 'P1', 'Lê 🖤': 'P2' } lines = open(input_file, 'r', encoding='utf-8').readlines() anonymized_lines = [] replacements = {name: 0 for name in mapping} for line in lines: original = line for name, anon in mapping.items(): if f'] {name}:' in line: line = line.replace(f'] {name}:', f'] {anon}:') replacements[name] += 1 anonymized_lines.append(line) with open(output_file, 'w', encoding='utf-8') as f: f.writelines(anonymized_lines) return replacements # Define arquivos input_5 = output_4 output_5 = INTERIM_DIR / 'raw-data_cln5.txt' # Executa transformação print("🔄 Anonimizando participantes...\n") replacements = anonymize_participants(input_5, output_5) for name, count in replacements.items(): print(f" • {name} → {count:,} substituições") ``` ```{python} #| label: audit-step5 audit_5 = audit_transformation(input_5, output_5, "Anonimização") ``` </details> <details style="margin: 0.5em 0; list-style: none; border: 1px solid #d4d4d4; border-radius: 5px; padding: 10px;"> <summary style="font-size: 1.3em; font-weight: 600; color: #343a40; list-style: none;"> ▸ Etapa 6: Otimização do formato de timestamp </summary> ::: {.callout-note appearance="simple" collapse="false"} ### Sobre otimização de timestamp Remove delimitadores redundantes para facilitar o parsing: ``` De: [28/11/24, 19:30:05] P1: Mensagem Para: 28/11/24 19:30:05 P1: Mensagem ``` Economiza 4 caracteres por mensagem (`[`, `]`, `,`, espaço extra). ::: ```{python} #| label: step6-optimize-timestamps def optimize_timestamps(input_file, output_file): """Otimiza formato de timestamps removendo delimitadores.""" timestamp_pattern = r'^\[(\d{2}/\d{2}/\d{2}), (\d{2}:\d{2}:\d{2})\]' lines = open(input_file, 'r', encoding='utf-8').readlines() optimized_lines = [] count = 0 for line in lines: match = re.match(timestamp_pattern, line) if match: date_part = match.group(1) time_part = match.group(2) optimized_line = f"{date_part} {time_part}" + line[len(match.group(0)):] optimized_lines.append(optimized_line) count += 1 else: optimized_lines.append(line) with open(output_file, 'w', encoding='utf-8') as f: f.writelines(optimized_lines) return count # Define arquivos input_6 = output_5 output_6 = INTERIM_DIR / 'raw-data_cln6.txt' # Executa transformação print("🔄 Otimizando timestamps...\n") timestamps_optimized = optimize_timestamps(input_6, output_6) print(f"✅ Timestamps otimizados: {timestamps_optimized:,}") ``` ```{python} #| label: audit-step6 audit_6 = audit_transformation(input_6, output_6, "Otimização timestamps") ``` </details> <details style="margin: 0.5em 0; list-style: none; border: 1px solid #d4d4d4; border-radius: 5px; padding: 10px;"> <summary style="font-size: 1.3em; font-weight: 600; color: #343a40; list-style: none;"> ▸ Etapa 7: Normalização de indentação </summary> ::: {.callout-note appearance="simple" collapse="false"} ### Sobre indentação em linhas de continuação Mensagens multilinha frequentemente contêm espaços de indentação no início das linhas de continuação. Exemplo: ``` 28/11/24 19:30:05 P2: *🪙 Colombia 🪙* R$ 22 o grama. 25g. $20 ▪️ 50g. $18 ``` Esses espaços iniciais são visuais e podem ser removidos, preservando o conteúdo. ::: ```{python} #| label: step7-normalize-indentation def normalize_indentation(input_file, output_file): """ Remove espaços/tabs iniciais de linhas de continuação (sem timestamp). Preserva o conteúdo, remove apenas indentação desnecessária. """ timestamp_pattern = r'^\d{2}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}' lines = open(input_file, 'r', encoding='utf-8').readlines() cleaned_lines = [] spaces_removed = 0 for line in lines: # Se NÃO começa com timestamp, é linha de continuação if not re.match(timestamp_pattern, line): original_len = len(line) # Remove espaços/tabs do início (preserva \n no final) stripped = line.lstrip(' \t') spaces_removed += original_len - len(stripped) cleaned_lines.append(stripped) else: cleaned_lines.append(line) with open(output_file, 'w', encoding='utf-8') as f: f.writelines(cleaned_lines) return spaces_removed # Define arquivos input_7 = output_6 output_7 = INTERIM_DIR / 'raw-data_cln7.txt' # Executa transformação print("🔄 Normalizando indentação de linhas de continuação...\n") spaces_removed = normalize_indentation(input_7, output_7) print(f"✅ Espaços/tabs removidos: {spaces_removed:,}") ``` ```{python} #| label: audit-step7 audit_7 = audit_transformation(input_7, output_7, "Normalização indentação") ``` </details> ------------------------------------------------------------------------ ## Auditoria Final do Pipeline ```{python} #| label: final-audit #| output: false # Define todos os estágios stages = [ {'file': str(RAW_FILE), 'name': '📄 Original (raw-data.txt)'}, {'file': str(output_1), 'name': '└─ Sem U+200E'}, {'file': str(output_2), 'name': '└─ Sem timestamps vazios'}, {'file': str(output_3), 'name': '└─ Sem linhas vazias'}, {'file': str(output_4), 'name': '└─ Espaços normalizados'}, {'file': str(output_5), 'name': '└─ Anonimizado'}, {'file': str(output_6), 'name': '└─ Timestamps otimizados'}, {'file': str(output_7), 'name': '└─ Indentação normalizada'}, ] df_audit, totals = audit_pipeline(stages, show_output=False) ``` ::: panel-tabset ## Comparação de Estágios ```{python} #| label: show-audit-table #| echo: false format_audit_table(df_audit, include_chars=True).style.hide(axis='index') ``` ## Resumo por Etapa ```{python} #| label: show-summary #| echo: false audits = [audit_1, audit_2, audit_3, audit_4, audit_5, audit_6, audit_7] format_summary_table(audits).style.hide(axis='index') ``` ::: ------------------------------------------------------------------------ ::: {.callout-tip icon="false" collapse="false"} ## 🎯 Resultado Final ```{python} #| echo: false print(f"📁 Arquivo original: {totals['original_formatted']}") print(f"📁 Arquivo final: {totals['final_formatted']}") print(f"📦 Redução total: {totals['total_bytes']:,} bytes ({totals['total_percent']:.2f}%)") print(f"📉 Linhas removidas: {totals['total_lines']:,}") print(f"🔤 Caracteres removidos: {totals['total_chars']:,}") print(f"✅ Arquivo de saída: {output_7.name}") ``` O arquivo limpo está pronto para a próxima etapa: **parsing e estruturação em DataFrame**. ::: ------------------------------------------------------------------------ ::: {.callout-note icon="false" collapse="false"} ## 📊 Reflexão: Impacto no Dataset Enriquecido ```{python} #| echo: false # Gera análise de impacto impact = generate_impact_analysis(totals, enrichment_factor=8.0) print(f"📁 Arquivo bruto:") print(f" • Original: {impact['original_mb']:.2f} MB") print(f" • Após limpeza: {impact['final_mb']:.2f} MB") print(f" • Redução: {impact['reduction_pct']:.2f}%\n") print(f"📈 Projeção para dataset enriquecido (fator ~{impact['enrichment_factor']:.0f}x):") print(f" • Sem otimização: ~{impact['projected_original_mb']:.1f} MB") print(f" • Com otimização: ~{impact['projected_optimized_mb']:.1f} MB") print(f" • Economia projetada: ~{impact['projected_savings_mb']:.1f} MB\n") print(f"💡 Cada caractere removido agora significa menos dados para:") print(f" • Armazenar em disco e memória") print(f" • Processar em operações de NLP") print(f" • Transferir entre sistemas") print(f" • Incluir em embeddings e modelos") ``` A limpeza realizada nesta etapa não apenas organiza os dados, mas **reduz significativamente o custo computacional** de todas as operações subsequentes. Em um dataset que cresce com transcrições de áudio, features derivadas e metadados, cada byte economizado na base se multiplica. ::: ------------------------------------------------------------------------ ## Arquivo de Saída O arquivo `raw-data_cln7.txt` agora possui: - ✅ Formato otimizado: `DD/MM/YY HH:MM:SS Remetente: Conteúdo` - ✅ Participantes anonimizados (P1, P2) - ✅ Sem caracteres invisíveis - ✅ Sem linhas/timestamps vazios - ✅ Espaços e indentação normalizados ::: {.callout-note appearance="simple" collapse="true"} ### 📋 Regex para parsing do arquivo limpo ``` python # Padrão para identificar início de mensagem message_pattern = r'^(\d{2}/\d{2}/\d{2}) (\d{2}:\d{2}:\d{2}) (.+?): (.*)$' # Grupos de captura: # 1: Data (DD/MM/YY) # 2: Hora (HH:MM:SS) # 3: Remetente (P1 ou P2) # 4: Conteúdo da mensagem ``` ::: ------------------------------------------------------------------------ # Próximos Passos Com o arquivo limpo, seguimos para: 1. [**Data Wrangling**](02-data-wrangling.qmd) — Parsing, agregação de multilinha, vinculação de mídia 2. [**Feature Engineering**](03-feature-engineering.qmd) — Criação de variáveis derivadas