System e-Zdrowie (P1), w którego skład wchodzi Hurtownia Danych, jest współtworzony i rozwijany przez S&T od 2018 r. Projekt koncentruje się na stworzeniu elektronicznej platformy usług publicznych w zakresie ochrony zdrowia, która umożliwia gromadzenie, analizę i udostępnianie zasobów cyfrowych o zdarzeniach medycznych. System e-Zdrowie odpowiada m.in. za weryfikację i rejestrację operacji związanych z wystawianiem i realizacją recept papierowych i elektronicznych, obsługę skierowań oraz przyjmowanie danych o zdarzeniach medycznych. Platforma e-Zdrowie przekazuje ponad 10 mln dokumentów dziennie do Hurtowni Danych e-Zdrowia (HD) w celu dalszego ich przetwarzania i agregacji.
Hurtownia danych w większości opiera się na rozwiązaniach open source (PostgreSQL) i napisanych przez zespół S&T autorskich aplikacjach Java. Architektura oraz dobór technologii został wypracowany wspólnie z naszym klientem i adresował szeroki zakres funkcjonalny oraz wysokie wymagania wydajnościowe. Ważnym wskaźnikiem był również koszt utrzymania rozwiązania (TCO, z ang. Total Cost of Ownership), którego poziom był istotnym kryterium zadowolenia klienta.
Hurtownia Danych e-Zdrowia zasilana jest z ponad 30 źródeł danych. Są to m.in. dane z systemów Narodowego Funduszu Zdrowia, ZUS, Centrum e-Zdrowia (rejestracja na szczepienia COVID-19, informacje na temat obrotu lekami, wystawionych certyfikatów COVID-19, elektronicznej dokumentacji medycznej, realizacji wystawionych recept i skierowań, ewidencji wjazdów do Polski).
Największe zbiory mają rozmiar ponad 10 TB i posiadają ponad 50 mld rekordów, a operacje ze względu na wolumen danych wykonywane są w czasie rzeczywistym 24/7 w wysokim rygorze SLA. Dodatkowo hurtownia danych obsługuje ponad 1 mln wywołań usług dziennie z systemów dziedzinowych o zintegrowane dane Pacjentów.
– Hurtownia Danych e-Zdrowia jest odpowiedzialna za akwizycję danych, ich integrację oraz udostępnianie na rzecz innych systemów oraz na potrzeby eksploracyjne i raportowe. W okresie pandemii Covid-19 była podstawowym źródłem zintegrowanej informacji o jej przebiegu. W tym czasie zostało zgłoszonych szereg wymagań związanych z przetwarzaniem i udostępnianiem danych z tego obszaru. Wymagania te wpasowały się w przygotowaną architekturę Big Data. Szczególnym komponentem, który potwierdził przyjętą strategię przetwarzania danych było uruchomienie środowiska eksploracyjnego. Środowisko to stało się głównym narzędziem pracy dla kilkudziesięciu analityków wspierających procesy analityczne i raportowe w obszarze e-zdrowia i mam nadzieję, dobrym fundamentem pod kolejne wyzwania, np. związane z algorytmami sztucznej inteligencji.
Senior Project Manager, Centrum e-Zdrowia
Udostępnianie Danych
Hurtownia Danych e-Zdrowia po przeprowadzeniu operacji pozyskania danych, ich czyszczenia oraz integracji udostępnia je wielu podmiotom i systemom (wewnętrznym i zewnętrznym) – wszędzie tam, gdzie wymagany jest dostęp do zintegrowanych informacji w obszarze e-zdrowia. Odbiorcami gromadzonych i przetwarzanych informacji są m.in. takie podmioty jak Ministerstwo Zdrowia, Kancelaria Prezesa Rady Ministrów (dane statystyczne o zaszczepionych), Państwowy Zakład Higieny (dane o szczepieniach), Narodowy Fundusz Zdrowia (dane dotyczące COVID-19) oraz Ministerstwo Edukacji i Nauki (dane o szczepieniach studentów i pracowników naukowych). Rozwiązanie zbudowane przez zespół S&T dostarcza również mechanizmy monitorujące zakres i rodzaj udostępnianych danych w szczególności prowadzi rejestr zapytań.
Wspieranie prac analitycznych oraz udostępnianie danych innym systemom jest jednym z głównych zadań HD. Zadania te są realizowane przez dedykowane komponenty odpowiednio sprofilowane do stawianych celów.
Hurtownia Danych e-Zdrowie przetwarza dane w 3 warstwach:
- Source – pozyskiwanie danych źródłowych,
- Compute – realizacja procesów ETL,
- ZMA – udostępnianie danych w Zintegrowanym Modelu Danych na potrzeby analityczne i raportowe.
Hurtownia zbudowana przez zespół specjalistów S&T wspiera podejmowanie decyzji, zwiększa stopień bezpieczeństwa i kontroli nad danymi, pozwala na ich bezpieczne przechowywanie, a także automatyzuje procesy raportowania Ministerstwa Zdrowia.
