4

Mapas de Cloud - AWS - Azure - GoogleDrive

⚡Eros Lima
⚡Eros Lima

Os pipelines de Big Data evoluíram rapidamente. Embora os estágios tenham permanecido os mesmos:


1. Ingerir dados por meio de um endpoint REST ou Message Queue

2. Armazene-o no Data Lake

3. Processe os dados

4. Armazene os resultados em um Data Warehouse

5. Veicule-o para os painéis, serviços da web, notificações push, etc.


Recentemente, as soluções de Data Lake e Warehouse têm convergido para "Lakehouse".


Você pode ter visto alguma versão desta imagem. Esta semana é o primeiro aniversário da publicação desse artigo (link nos comentários).


Em um ano, o artigo foi visto 54 mil vezes!


É tudo graças a tantas pessoas compartilhando isso, incluindo alguns grandes influenciadores (muito obrigado Greg Coquillo e Pooja Sund).


O que vocês acham que mudou na construção de pipelines de dados neste ano?


👉 Clique em # ML4Devs e siga para obter mais conteúdo sobre Machine Learning for Developers.


#Data #BigData #Analytics #DataScience #MachineLearning

0
48

Comentários (0)

Jr.👨‍💻Full-Stack Developer - JavaScript | React.js | Next.js | Angular | Node.js | Python | .NET | C# | Scientific Researcher | DevSecOps | Cyber Sec. Enthusiast

Brasil