Mapas de Cloud - AWS - Azure - GoogleDrive
Os pipelines de Big Data evoluíram rapidamente. Embora os estágios tenham permanecido os mesmos:
1. Ingerir dados por meio de um endpoint REST ou Message Queue
2. Armazene-o no Data Lake
3. Processe os dados
4. Armazene os resultados em um Data Warehouse
5. Veicule-o para os painéis, serviços da web, notificações push, etc.
Recentemente, as soluções de Data Lake e Warehouse têm convergido para "Lakehouse".
Você pode ter visto alguma versão desta imagem. Esta semana é o primeiro aniversário da publicação desse artigo (link nos comentários).
Em um ano, o artigo foi visto 54 mil vezes!
É tudo graças a tantas pessoas compartilhando isso, incluindo alguns grandes influenciadores (muito obrigado Greg Coquillo e Pooja Sund).
O que vocês acham que mudou na construção de pipelines de dados neste ano?
👉 Clique em # ML4Devs e siga para obter mais conteúdo sobre Machine Learning for Developers.
#Data #BigData #Analytics #DataScience #MachineLearning