Roadmap de Estudos
Databricks — do Básico ao Avançado

O Liquid Clustering substitui o particionamento estático e o Z-Order: você define chaves de clustering e o Delta reorganiza os dados automaticamente conforme evoluem, sem reescrever a tabela inteira. Melhora o data skipping e evita o problema de partições muito pequenas ou grandes.

CREATE TABLE main.vendas.pedidos (
  id BIGINT, cliente STRING, data DATE
) CLUSTER BY (data, cliente);

-- Ou em tabela existente, com clustering automático
ALTER TABLE main.vendas.pedidos CLUSTER BY AUTO;
OPTIMIZE main.vendas.pedidos;

Três mecanismos que reduzem o volume lido: Partition Pruning descarta pastas/partições que não satisfazem o filtro; Predicate Pushdown empurra o filtro para o mais próximo possível da fonte; e Data Skipping usa estatísticas (min/max por arquivo) para pular arquivos irrelevantes. Escrever filtros que aproveitem esses recursos é o que separa uma query rápida de uma cara.

Transformações narrow (como SELECT, WHERE) processam cada partição isoladamente e são baratas. Transformações wide (GROUP BY, JOIN, ORDER BY) exigem shuffle — redistribuição de dados pela rede entre executores — que costuma ser o principal gargalo. Dimensionar partições para ~100–200 MB cada evita tanto o excesso de tarefas minúsculas quanto o estouro de memória.

O Spark escolhe um tipo físico de join: broadcast hash join (envia a tabela pequena, <~10 GB, para todos os nós, evitando shuffle), shuffle sort-merge join (para tabelas grandes) e nested loop (último recurso). Forçar o broadcast de uma dimensão pequena costuma ser a otimização de maior impacto.

from pyspark.sql.functions import broadcast

# Faz broadcast da tabela pequena, evitando shuffle na grande
resultado = fatos.join(broadcast(dim_cliente), "cliente_id")

A AQE reotimiza o plano durante a execução com base em estatísticas reais: coalesce de partições de shuffle, conversão dinâmica para broadcast join e tratamento automático de skew (dados desbalanceados). Está ativa por padrão no Databricks — entender o que ela faz ajuda a interpretar planos e a não brigar com ela.

SET spark.sql.adaptive.enabled = true;
SET spark.sql.adaptive.skewJoin.enabled = true;
SET spark.sql.adaptive.coalescePartitions.enabled = true;

Saber diagnosticar é o ápice do nível avançado. Use EXPLAIN FORMATTED para ler o plano físico (que join foi escolhido? há shuffle? o skipping foi aplicado?) e o Query Profile na UI do Databricks SQL para ver tempo por estágio, linhas lidas e gargalos reais.

EXPLAIN FORMATTED
SELECT cliente, SUM(valor)
FROM main.vendas.pedidos
WHERE data >= '2026-01-01'
GROUP BY cliente;

Feche o nível avançado estudando as arquiteturas de referência oficiais e os pilares do Well-Architected Lakehouse (confiabilidade, segurança, eficiência de performance, otimização de custo e excelência operacional). Elas mostram como todas as peças anteriores se encaixam em um sistema de produção coeso.