Każdego dnia urzędy gromadzą ogromne ilości informacji. To analizy ruchu drogowego, opłaty, wnioski, zgłoszenia, zapisy monitoringu i wiele innych. Te bardzo cenne zasoby wymagają odpowiedniego uporządkowania, by służyły planowaniu strategicznemu. Decyzja, czy lepsza będzie hurtownia, czy jezioro danych (data lake) wpływa na skuteczność zarządzania miastem lub całym regionem. W tym artykule zestawimy oba typy repozytoriów, aby pomóc dokonać właściwego wyboru.

Ustrukturyzowany zbiór – niezawodny porządek w sprawozdawczości

Klasyczna hurtownia danych (data warehouse) funkcjonuje jak doskonale zorganizowane archiwum z rygorystycznym katalogowaniem. System ten przechowuje wyłącznie informacje ustrukturyzowane, czyli takie, które można precyzyjnie przypisać do konkretnych tabel. Zanim jakikolwiek wpis trafi do bazy, przechodzi dokładny proces czyszczenia i walidacji. Gwarantuje to najwyższą spójność i pozwala wyeliminować ryzyko pomyłek w oficjalnych dokumentach.

W codziennej pracy urzędu hurtownia danych sprawdza się idealnie tam, gdzie priorytetem jest precyzja. Mowa tu o systemach podatkowych, ewidencji ludności oraz rozliczeniach budżetowych. Skarbnicy zyskują natychmiastowy dostęp do narzędzi analityki biznesowej (business intelligence). Agregacja wskaźników finansowych odbywa się błyskawicznie, co ułatwia podejmowanie strategicznych decyzji inwestycyjnych.

Takie rozwiązanie posiada natomiast pewne ograniczenia strukturalne. Tworzenie sztywnych modeli analitycznych jest czasochłonne, a każda modyfikacja wymaga zaangażowania zespołu IT. Ponadto tradycyjna infrastruktura kiepsko radzi sobie z gromadzeniem surowych zasobów dostarczanych przez nowoczesne systemy typu smart city.

Jezioro danych – elastyczne zaplecze dla inteligentnego miasta

Repozytorium typu data lake działa w oparciu o zupełnie odmienną logikę. Agreguje surowe zbiory w ich natywnej (wejściowej) formie, nie narzucając wstępnego formatowania. Nadanie struktury następuje dopiero w momencie tworzenia zapytania do bazy przez użytkownika. Dzięki temu urząd może błyskawicznie włączać nowe źródła danych – bez konieczności wcześniejszego przebudowywania całego archiwum.

Taki elastyczny zbiór stanowi świetny fundament dla projektów z zakresu smart city. Bez problemu przyjmuje strumienie informacji z czujników jakości powietrza, kamer monitoringu czy systemów sterowania ruchem. Przechowywanie dużych ilości surowych logów (zapisów zdarzeń i działań) jest w tym przypadku znacznie bardziej ekonomiczne niż w tradycyjnych bazach. Zgromadzone zasoby są też dobrym paliwem dla algorytmów sztucznej inteligencji (oczywiście wyłącznie przy zachowaniu odpowiednich standardów bezpieczeństwa).

Wdrożenie tego typu środowiska wymaga stałego nadzoru. Pozostawione bez żadnej kontroli jezioro danych może szybko przekształcić się w tzw. bagno danych (data swamp). W efekcie sprawne odnajdywanie wartościowych informacji przez pracowników urzędu stanie się niemożliwe.

Porównanie technologii – najważniejsze różnice w praktyce

Wybór odpowiedniego rozwiązania zależy od specyfiki przetwarzanych zasobów oraz celów stawianych przez osoby zarządzające departamentem lub wydziałem. Należy wziąć pod uwagę kwestie takie jak:

• Struktura gromadzonych formatów – uporządkowana baza wymaga tradycyjnych tabel relacyjnych. Jezioro danych przyjmuje z kolei surowe pliki tekstowe, materiały wideo oraz sygnały z czujników IoT.
• Zastosowanie w urzędzie – klasyczna analityka wspiera obszar finansów, podatków i księgowości. Elastyczne repozytorium zasobów służy natomiast do monitorowania stanu środowiska czy badania natężenia ruchu (jest optymalne dla strumieni otrzymywanych w czasie rzeczywistym).
• Moment przetwarzania – w klasycznej hurtowni standaryzacja zachodzi jeszcze przed zapisem (ETL – Extract, Transform, Load). W modelu data lake nadawanie struktury odbywa się dopiero podczas odczytu.
• Skalowalność i koszty – bazy relacyjne dają pełną kontrolę, lecz wymagają większych nakładów przy rozbudowie. Nowoczesne zbiory plików oferują niemal nieograniczone możliwości dostosowania i tanie przechowywanie dużych wolumenów.

Architektura hybrydowa – optymalny kierunek dla administracji

Decyzja wcale nie musi sprowadzać się do wykluczającego wyboru jednej technologii. Dla większości JST najbardziej opłacalną ścieżką rozwoju okazuje się architektura hybrydowa (data lakehouse). Łączy ona elastyczność nieprzetworzonych zbiorów informacji z precyzją relacyjnej bazy danych.

W praktyce urząd najpierw gromadzi surowe odczyty, np. o natężeniu ruchu, w pojemnym jeziorze danych. Następnie przetworzone wskaźniki trafiają do hurtowni, gdzie służą do przygotowania corocznego raportu o stanie gminy. Przykładem jest optymalizacja transportu publicznego – sygnały GPS z autobusów zasilają algorytmy na bieżąco, a zbiorcze statystyki lądują na biurkach radnych.

Integracja obu środowisk to ważny krok w cyfryzacji administracji publicznej. Usprawnia wewnętrzne procedury urzędowe, podnosi jakość doświadczeń mieszkańców, a oprócz tego buduje wizerunek nowoczesnej, sprawnie zarządzanej JST. Co więcej, jest niezbędny, jeśli miasto czy region planuje wdrożenie rozwiązań typu smart city. Ostatecznie jednak sukces transformacji zależy nie tylko od samej technologii, lecz od tego, jak skutecznie przekłada się ona na trafność planowania strategicznego.