---
title: Podejście cloud-first w budowaniu platformy danych
description: Dojrzałość organizacji polega nie tylko na tym, że korzysta z danych, ale w jaki sposób dąży do zwiększenia ich wiarygodności i wartości.
---

[Digital Excellence HUB ](https://www.digitalexcellence.pl/hub)

# [Podejście cloud-first w budowaniu platformy danych](https://www.digitalexcellence.pl/hub/podejscie-cloud-first)

 Autor: [Digital Excellence Group](https://www.digitalexcellence.pl/hub/author/digital-excellence-group) | 21-04-09 18:37

***Dojrzałość organizacji polega nie tylko na tym, że korzysta z danych, ale w jaki sposób dąży do zwiększenia ich wiarygodności i wartości. ***

Ostatnie z tej serii wirtualne spotkanie w ramach dedykowanego Dyrektorom IT programu CLOUD SIG poświęcone było nowoczesnym sposobom gromadzenia i przetwarzania danych. Sposób funkcjonowania organizacji „data-driven” zmienia się w czasie - jej poziom dojrzałości rośnie wraz ze wzrostem wiarygodności i wartości wykorzystywanych danych. Od podstaw, czyli korzystania z danych poprzez wynikające z tego obserwacje i raporty, następnie dalsze analizy danych, wykorzystanie mechanizmów predykcyjnych, dochodzi się do istoty wykorzystania danych, czyli użycia ich do transformacji biznesowej i zarządzania operacyjnego.

- *Te organizacje, które częścią transformacji uczyniły dane, rozwijają się szybciej stają się bardziej konkurencyjne na rynku* – mówił Radosław Wojdowski z EY.

Po drodze nie brakuje wyzwań. Dotyczą one przede wszystkim radzenia sobie z wielką ilością danych, które pojawiają się w różnych formatach, trybach, miejscach. Problemem są też ich silosy, skutecznie utrudniające ujednolicanie informacji. Do tego dochodzi szybki rozwój technologii, a zwłaszcza implementowane innowacyjne rozwiązania, które wymuszają zmiany w zakresie przechowywania i przetwarzania danych. Sprawy nie ułatwia też postępująca entropia danych (ich duplikowanie i brak wiarygodności).

Odpowiedzią na to jest koncepcja platformy danych, która nie polega na wdrożeniu jednego konkretnego rozwiązania, ale na wykorzystaniu zróżnicowanego zestawu nowoczesnych narzędzi. Ma być ona kluczowa w przetwarzaniu danych (także w czasie rzeczywistym) i ich zaawansowanym wykorzystaniu. Wbudowane w nią zarządzanie metadanymi, jakością będzie zwiększać wiarygodność pozyskiwanych informacji.

Ważnym pytaniem jest to, gdzie umieścimy rozwiązanie do gromadzenia i przetwarzania danych. Klasycznym podejściem jest zbudowanie go równolegle do biznesu i systemów, którym trzeba zapewnić ciągłość działania. Obok działają zespoły od hurtowni danych, one gromadzą informację i się nią zajmują. To konsekwencja tego, że gdy wdraża się systemy, takie jak np. ERP, to o samych danych myśli się później.

- *Gdy platformę danych umieścić się w centrum, z czym często mamy do czynienia w przypadku nowych systemów typu cloud native, to możemy wykorzystać mechanizmy zasilania danymi, który będą w czasie rzeczywistym, za pośrednictwem platformy dostarczać dane wszystkim zainteresowanym stronom – *zauważył Radosław Wojdowski*.*

Jak do gromadzenia i przetwarzania danych podejść od strony architektonicznej? Jedną z tradycyjnych koncepcji jest użycie danych strukturalnych przetwarzanych w hurtowaniach danych - w celu raportowania i analizy. Inne polega na zbudowaniu on-prem repozytoriów typu data lakes do przetwarzania np. danych strumieniowych. Nowym podejściem jest właśnie stworzenie platformy danych łączącej zadania różnych rozwiązań.

Gdy będziemy myśleć o stworzeniu platformy danych, to chcielibyśmy, by wykorzystywała ona rozwiązania sprawdzone i dające się ponownie wykorzystywać. Żeby opierała się na skalowalnej infrastrukturze, umożliwiającej rozwój. Ułatwiała modelowanie, proaktywną analitykę oraz konfigurowanie i parametryzację przepływów. Często się wówczas okazuje, że wymogi, jakimi się kierujemy, prowadzą nas do chmury. Wśród pryncypiów, o których warto pamiętać myśląc o platformie danych są: podejście cloud-first, elastyczny, dostosowujący się potrzeb storage oraz narzędzia cloud-native.

*- Jest jedno ale... Wybierając chmurę, chcielibyśmy uniknąć Cloud Vendor Lock-In, czyli związania się na dobre czy złe z jednym dostawcą. Chcielibyśmy mieć możliwość zbudowania planu wyjścia z danymi i przeniesienia się z jednej chmury do drugiej, nawet własnej. Dlatego preferujemy wykorzystywanie narzędzi typu open-source. Wielu klientów ma swoje systemy w kilku chmurach, a takie podejście pozwala nam uprościć ewentualne procesy migracji pomiędzy chmurami * – twierdził Radosław Wojdowski

Na architekturę rozwiązania do przetwarzania i przechowywania danych - czy to w chmurze czy on-prem - składają się kolejne warstwy, szczegółowo omówione podczas warsztatu. Od źródeł danych, których liczba szybko rośnie (np.. za sprawą wdrożeń IoT) i sposobów zasilania danymi, przez warstwę przetwarzania danych (zarówno w trybie wsadowym i zdarzeniowo w czasie rzeczywistym), warstwę przechowywania danych (operacyjnych, analitycznych i zarchiwizowanych) po warstwę konsumpcji i prezentacji danych. W tej ostatniej następuje wizualizacja i raportowanie danych, a także ich wykorzystanie przez systemy zewnętrzne. Coraz częściej dane te są dostarczane i uzupełniane przez modele uczenia maszynowego.

Prezentowane praktyczne przykłady budowania tej architektury dotyczyły wdrożeń z sektora ubezpieczeniowego, podejścia cloud-first i najczęściej wybieranych platform chmurowych. Wdrożenie w AWS obejmowało wykorzystanie wielu elementów open-source, takich jak np. Spark i Kafka w warstwie zasilania danymi czy Delta Lake w warstwie przechowywania i procesowania. Drugim przykładem była podobna architektura zbudowana w oparciu o Microsoft Azure, na przykładzie której zostały omówione kolejne etapy wrażania, gdzie kolejne bardziej zaawansowane wersje dawały większe możliwości wykorzystania danych.

*Materiał powstał na podstawie wirtualnego modułu tematycznego w ramach programu Cloud Special Interest Group, którego wykładowcą był: Radosław Wojdowski z firmy EY.*

Po więcej informacji o programie zapraszamy na stronę [www.cionet.com/pl/cloudsig](https://www.cionet.com/pl/cloudsig)

[Wyświetl kompletny wpis](https://www.digitalexcellence.pl/hub/podejscie-cloud-first)

```json
{
  "@context" : "http://schema.org",
  "@type" : "BlogPosting",
  "author" : {
    "@type" : "Person",
    "name" : "Digital Excellence Group"
  },
  "dateModified" : "2022-05-05T09:38:00.239Z",
  "datePublished" : "2021-04-09T18:37:18Z",
  "headline" : "Podejście cloud-first w budowaniu platformy danych",
  "image" : {
    "@type" : "ImageObject",
    "height" : 1080,
    "url" : "https://f.hubspotusercontent40.net/hubfs/4295993/SIG%20CLOUD%20THUMBNAIL%20%2810%29.png",
    "width" : 1902
  },
  "mainEntityOfPage" : "https://www.digitalexcellence.pl/hub/podejscie-cloud-first",
  "publisher" : {
    "@type" : "Organization",
    "logo" : {
      "@type" : "ImageObject",
      "height" : 60.0,
      "url" : "https://cdn2.hubspot.net/hubfs/4295993/de%20logo.png",
      "width" : 163.20001
    },
    "name" : "Digital Excellence HUB"
  }
}
```