Pular para conteúdo

Entrega 1.2 – Silver Layer (Camada Tratada)

Objetivo

Documentar a Silver Layer, responsável por transformar os dados brutos da Raw Layer em dados limpos, padronizados e semanticamente consistentes, prontos para análises exploratórias e consumo analítico.

Papel da Silver Layer

A Silver Layer atua como a camada de qualidade do pipeline de dados, garantindo confiabilidade e consistência.

Funções principais:

  • Limpeza de dados
  • Padronização de tipos
  • Normalização semântica
  • Preparação para modelagem analítica

MER (Modelo Entidade Relacionamento) - Silver

merS

DER (Diagrama Entidade Relacionamento) - Silver

derS

DLD (Diagrama Lógico de Dados) - Silver

dldS

Principais Transformações Aplicadas

1. Seleção de Atributos Relevantes

  • Remoção de colunas não utilizadas no escopo analítico
  • Redução de ruído e complexidade

2. Padronização de Tipos de Dados

  • Conversão explícita de:

    • Datas para formatos temporais apropriados
    • Métricas de atraso para valores numéricos

3. Tratamento de Valores Nulos

  • Avaliação semântica dos campos

  • Estratégias aplicadas conforme o contexto:

    • Substituição por zero
    • Manutenção de valores nulos quando necessário

Estrutura da Silver Layer

  • Dados organizados e consistentes

  • Prontos para:

    • Análises exploratórias
    • Criação de métricas
    • Construção da Gold Layer

Garantia de Qualidade dos Dados

Foram aplicadas validações para assegurar a qualidade:

  • Conferência de tipos de dados
  • Análise de valores ausentes
  • Verificação de consistência entre colunas
  • Comparação de volumes entre Raw e Silver