Pular para conteúdo

Entrega 1.1 – Raw Layer (Camada Bruta)

Objetivo

Documentar a Raw Layer, responsável por armazenar os dados brutos exatamente como foram extraídos da fonte original, sem qualquer tipo de transformação, garantindo rastreabilidade, reprocessamento e integridade dos dados.

Características da Raw Layer

A Raw Layer segue o princípio de imutabilidade dos dados, ou seja, os dados não sofrem alterações após a ingestão.

Principais características:

  • Armazenamento fiel à fonte original
  • Ausência de tratamento, limpeza ou padronização
  • Preservação de erros, nulos e inconsistências da fonte
  • Base para auditoria e reprocessamentos futuros

Processo de Ingestão

Estratégia de Carga

  • O arquivo CSV original é carregado integralmente
  • Nenhuma coluna é removida ou modificada
  • Os nomes e tipos de dados permanecem conforme a fonte

Fluxo de ingestão:

Fonte Externa (CSV)
        ↓
     Raw Layer

Estrutura dos Dados

  • Cada linha representa um voo registrado

  • As colunas descrevem:

  • Identificadores de voo

  • Companhia aérea
  • Datas e horários
  • Indicadores de atraso e cancelamento
  • Causas de atraso
Exemplo de um Gráfico

labels_pt = { 'carrier_delay': 'Atraso Companhia', 'weather_delay': 'Atraso Meteorológico', 'nas_delay': 'Atraso NAS', 'late_aircraft_delay': 'Atraso Aeronave Atrasada', 'arr_delay': 'Atraso Total', 'arr_cancelled': 'Voos Cancelados', 'arr_diverted': 'Voos Desviados' }

g1

Nesta camada, não há garantias de qualidade, pois a função da Raw Layer é preservar o dado original. ```

Atenção!

Para visualizar os resultados da camada Raw em sua completude verifique os ETLs desenvolvidos em Transformer

Importância da Raw Layer no Pipeline

A Raw Layer é fundamental para:

  • Garantir rastreabilidade dos dados
  • Permitir correções e reprocessamentos
  • Servir como fonte única da verdade (single source of truth)
  • Evitar perda de informação durante transformações

Saídas da Camada Raw

  • Dados brutos prontos para processamento
  • Insumo direto para a etapa de transformação (Silver Layer)
  • Dicionário de Dados
  • Visualização dos gráficos dos dados brutos