O ecossistema de ferramentas de Engenharia de Dados

Plataforma de ELT com 600+ conectores. Roda self-hosted (gratuito) ou em nuvem gerenciada. Conectores são containers padronizados, e o CDK permite criar conectores próprios rapidamente — útil para APIs brasileiras sem conector pronto.

Referência em ELT gerenciado: conectores de altíssima confiabilidade, schema drift tratado automaticamente, zero manutenção. Cobra por linhas ativas mensais (MAR), o que pode encarecer com volume.

Plataforma distribuída de streaming de eventos — o "sistema nervoso" de dados em tempo real. Produtores publicam em tópicos particionados; consumidores leem de forma independente. Kafka Connect adiciona conectores de entrada/saída. Versão gerenciada: Confluent Cloud, Amazon MSK.

Padrão de mercado para CDC (Change Data Capture): lê o log de transações de MongoDB (oplog/change streams), PostgreSQL (WAL), MySQL (binlog) e outros, e publica cada mudança como evento — tipicamente no Kafka.

Ferramenta visual de fluxo de dados (drag-and-drop) com proveniência nativa — cada dado carrega seu histórico. Forte em ambientes corporativos/governamentais com requisitos de rastreabilidade e roteamento complexo.

Biblioteca Python para construir pipelines de ingestão como código — sem servidor, sem UI. Inferência automática de schema, carga incremental e destino plugável. Cresceu muito como alternativa leve a plataformas inteiras.

Serviços de integração nativos das nuvens. ADF é visual e forte no ecossistema Microsoft; Glue é serverless, baseado em Spark, com catálogo de dados integrado ao ecossistema AWS.

Warehouse em nuvem que popularizou a separação total entre armazenamento e computação: múltiplos "virtual warehouses" escalam de forma independente sobre os mesmos dados. SQL completo, Time Travel, compartilhamento de dados entre contas e suporte a Iceberg.

Warehouse serverless: você não gerencia cluster nenhum, paga por dados escaneados (ou capacidade reservada). Escala a petabytes sem tuning, com ML embutido (BQML) e integração nativa com o ecossistema Google.

Plataforma lakehouse construída sobre Spark + Delta Lake, com Unity Catalog para governança, notebooks colaborativos e forte integração de engenharia + ciência de dados + ML no mesmo ambiente.

Warehouse da AWS, colunar e baseado em PostgreSQL (dialeto). Evoluiu com RA3 (armazenamento separado), Serverless e Spectrum (consulta direta ao S3). Integração profunda com o ecossistema AWS.

Banco colunar open-source absurdamente rápido para analytics em tempo real: agregações sobre bilhões de linhas em milissegundos. Ideal para dashboards de alta concorrência e dados de eventos/observabilidade.

O banco relacional de propósito geral mais respeitado do mercado. Para volumes pequenos e médios, é também um warehouse analítico perfeitamente viável — e a fundação conceitual (MVCC, planos de execução, índices) que todo engenheiro de dados precisa dominar.

Formato de tabela aberto que virou padrão neutro do mercado: transações ACID sobre arquivos Parquet, evolução de schema e partição, time travel. Suportado por Snowflake, BigQuery, Databricks, Trino, Spark e Flink.

Formato transacional criado pela Databricks (hoje open-source na Linux Foundation). Integração mais profunda do ecossistema Spark/Databricks, com MERGE eficiente, time travel e otimizações como Z-Ordering e Liquid Clustering.

Pioneiro em upserts incrementais no data lake (criado na Uber). Forte em ingestão contínua com atualizações frequentes (modos Copy-on-Write e Merge-on-Read) e consultas incrementais.

A ferramenta que trouxe engenharia de software para o SQL: modelos versionados no Git, dependências resolvidas automaticamente (DAG), testes de dados, documentação gerada e ambientes dev/prod. dbt Core é open-source; dbt Cloud/Platform adiciona IDE, agendamento e semantic layer.

O motor distribuído de propósito geral: processa de gigabytes a petabytes em cluster, com APIs em Python (PySpark), SQL, Scala e R. Cobre batch, streaming (Structured Streaming) e ML (MLlib). Gerenciado em Databricks, EMR, Dataproc e Synapse.

"O SQLite do analytics": banco OLAP colunar embarcado, sem servidor, que consulta Parquet/CSV/JSON direto do disco ou do S3 com performance impressionante. Virou peça central do movimento de processamento single-node.

DataFrames em Rust com API Python: execução paralela, lazy evaluation com otimizador de query e uso de memória muito menor que pandas. Para transformações programáticas single-node, é o novo padrão de performance.

A biblioteca de manipulação de dados mais usada do mundo Python. Não é a mais rápida nem a mais econômica em memória, mas é vocabulário universal — todo notebook, tutorial e entrevista assume que você a conhece.

Concorrente moderno do dbt: entende SQL semanticamente (via SQLGlot), oferece ambientes virtuais de dados, detecção de mudanças que quebram contratos e backfills incrementais mais inteligentes.

O motor de referência para stream processing verdadeiro (evento a evento): estado gerenciado, semântica exactly-once, event time com watermarks e janelas sofisticadas. APIs em SQL, Java e Python (PyFlink).

Streaming por micro-batches sobre o mesmo motor e API do Spark batch. Latência típica de segundos — suficiente para a maioria dos casos "near real-time" — com a vantagem de reutilizar código e conhecimento do time.

Reimplementação do protocolo Kafka em C++, sem ZooKeeper e sem JVM: um único binário, operação muito mais simples e latência menor. Compatível com todo o ecossistema de clientes Kafka.

Streaming totalmente gerenciado da AWS (Data Streams + Firehose para entrega direta em S3/Redshift). Menos flexível que Kafka, mas zero operação e integração nativa com IAM e Lambda.

Mensageria + streaming com arquitetura que separa serving (brokers) de storage (BookKeeper), multi-tenancy nativo e geo-replicação. Tecnicamente elegante, com comunidade menor que a do Kafka.

O padrão de mercado há quase uma década: DAGs definidos em Python, ecossistema gigantesco de providers (operadores prontos para tudo) e presença em praticamente toda vaga de engenharia de dados. O Airflow 3 modernizou a plataforma (nova UI, versionamento de DAGs, event-driven scheduling). Gerenciado via Astronomer, AWS MWAA e GCP Composer.

Orquestrador "asset-centric": em vez de orquestrar tarefas, você declara os ativos de dados (tabelas, arquivos, modelos) e o Dagster materializa o que estiver desatualizado. Tipagem, testes locais de primeira classe e integração elegante com dbt.

Filosofia "Python puro": qualquer função vira flow com um decorator, sem DSL rígida. Excelente para fluxos dinâmicos, irregulares e event-driven que não se encaixam bem no modelo de DAG estático.

Orquestrador com IDE de notebooks embutida: cada bloco do pipeline é editável e testável interativamente na UI. Aposta forte em experiência amigável para construir ELT rapidamente.

Orquestrador declarativo em YAML, event-driven, com centenas de plugins. A definição em YAML facilita governança e geração automatizada de pipelines, sem exigir Python da equipe.

Framework Python de validação declarativa: você define "expectativas" (coluna não nula, valores dentro de faixa, unicidade) e o GX valida, documenta e reporta. Integra-se a Airflow, Spark e warehouses.

Checks de qualidade em YAML legível (SodaCL) executados direto no warehouse. Mais simples de adotar que o GX, com versão Cloud para monitoramento contínuo e alertas.

O dbt já traz testes nativos (unique, not_null, relationships, accepted_values) e pacotes como dbt-expectations e elementary adicionam testes avançados, detecção de anomalias e relatórios de observabilidade — tudo dentro do projeto dbt.

Líder da categoria "data observability": monitora automaticamente frescor, volume, schema e distribuição usando ML, detectando anomalias sem que você escreva regras — análogo ao Datadog, mas para dados.

Catálogo de metadados criado no LinkedIn: descoberta de dados, linhagem ponta a ponta, ownership e glossário de negócio, com ingestão de metadados de dezenas de fontes (warehouses, BI, orquestradores).

Catálogo open-source unificado com arquitetura mais simples que a do DataHub, incluindo qualidade de dados e profiling embutidos, além de colaboração (tarefas, anúncios) na própria plataforma.

Camada de governança do ecossistema Databricks (com núcleo open-source): controle de acesso fino, linhagem automática e catálogo unificado para tabelas, arquivos, modelos de ML e funções.

Catálogo SaaS "ativo": além de descoberta e linhagem, integra-se ao fluxo de trabalho (Slack, Jira) e automatiza políticas de governança. Forte apelo de usabilidade para usuários de negócio.

Dominante no mercado corporativo (e no Brasil): modelo semântico tabular (VertiPaq), DAX para medidas, Power Query (M) para preparação e integração total com Microsoft 365/Fabric. Licenciamento acessível na entrada.

Referência histórica em visualização exploratória: a experiência drag-and-drop de análise visual ainda é considerada a melhor da categoria. Parte do ecossistema Salesforce.

BI governado por código: a camada semântica LookML define métricas uma única vez, versionadas no Git, e tudo consulta o warehouse ao vivo. Hoje parte do Google Cloud.

O BI open-source mais amigável: sobe em minutos, perguntas em interface visual ou SQL, dashboards e alertas. Perfeito para dar autonomia a usuários de negócio sem custo de licença.

Plataforma de BI open-source mais completa (criada no Airbnb): dezenas de tipos de gráfico, SQL Lab para exploração e permissões granulares. Mais poderosa — e mais trabalhosa de operar — que o Metabase.

Caminhos "data apps como código": Streamlit transforma scripts Python em aplicações interativas; Evidence gera relatórios a partir de SQL + Markdown. Ótimos para entregar análises sob medida sem plataforma de BI.