06Dane
Dedykowane źródła danych pod potrzeby biznesu
- Zakres
- Architektura i implementacja rozwiązania
- Klient
- Projekt anonimowy
- Wyzwanie
- Zespoły biznesowe potrzebowały wiarygodnych, gotowych do użycia danych do konkretnych zagadnień, a dane źródłowe były rozproszone w wielu miejscach i formatach.
- Podejście
- Projektowanie i budowa wielu dedykowanych źródeł danych w oparciu o pipeline’y ETL w Databricks, każde pod konkretny przypadek biznesowy: od baz Redshift, przez parsowanie plików przechowywanych w S3, po dekodowanie zbiorów Parquet z S3 do czystych, spójnych tabel.
- Efekt
- Źródła danych szyte na miarę, z których zespoły korzystają bezpośrednio, zamiast ręcznie składać surowe dane przy każdym nowym zagadnieniu.