Większa elastyczność biznesu dzięki danym i analityce z chmury

Chmurowa skalowalność, czyli możliwość sterowania dostępnymi zasobami, bardzo prosto przekłada się na elastyczność biznesową, która w czasach pandemii nabrała ogromnego znaczenia. Ale wartości, jakie może przynieść integrowanie i analizowanie danych w chmurze, są znacznie większe, o czym przekonywali uczestnicy spotkania CIONET z cyklu Vision.

Do pomocy w zorganizowaniu i poprowadzeniu tego spotkania zaprosiliśmy Devoteam, firmę która specjalizuje się w rozwiązaniach Google Cloud Platform, ale wśród jej partnerów są także inne mocne firmy chmurowe: Salesforce, Okta czy ServiceNow. W Polsce Devoteam pomagał wdrażać rozwiązania chmurowe w takich firmach jak Auchan, Cinkciarz.pl czy Empik. Na świecie przeprowadził ponad 100 dużych transformacji chmurowych, a do jego klientów należą zarówno firmy od zawsze chmurowe, na przykład Spotify czy Klarna, jak i te, które szybko migrują ze środowisk on-premise, choćby Sandvik albo HSBC. Na naszym spotkaniu Devoteam reprezentował Michał Żuralski, dyrektor sprzedaży.

Szybka migracja wielkich danych

Virtualo jest dostawcą cyfrowych treści: audiobooków i e-booków dla kilkudziesięciu sklepów w Polsce, wśród nich dla sieci Empik. Przygoda z chmurą zaczęła się dla Virtualo ponad rok temu, kiedy Empik wpadł na pomysł aby przygotować własną aplikację do czytania audio- i e-booków. – „Już wstępne analizy pokazywały, że uruchomienie aplikacji spowoduje ogromny wzrost ruchu i obciążeń. A testy udowodniły, że własna infrastruktura im nie podoła; chmura będzie rozwiązaniem znacznie szybszym i bardziej wydajnym” mówi Sebastian Kamut z Virtualo. Tak zapadła decyzja o przeniesieniu do chmury głównych elementów aplikacji, które powodują największe obciążenia.

Nastąpiło to w momencie, kiedy prace nad aplikacją już trwały, więc migracja musiała nastąpić w ekspresowym tempie. Zamknęła się w czasie krótszym od miesiąca, przy czym sam materiał źródłowy, jaki Virtualo przechowuje w chmurze, ma wielkość ok. 15 TB. W rzeczywistości ilość wszystkich danych jest znacznie większa, bo w chmurze przechowywane są także dane generowane przez użytkowników, takie jak na przykład oznaczenia odtwarzanych książek. Aktualne dane pokazują, że miesięcznie na platformie przechowywanych jest nawet 250 TB.

Przy tradycyjnej infrastrukturze wymagałoby to wielu serwerów i pracowników do ich obsługi, co zdaniem Sebastiana i tak byłoby niewystarczające w przypadku skokowych wzrostów, takich jak na początku marcowego lockdownu, kiedy Empik uruchomił nową usługę – Empik Premium i ruch praktycznie z dnia na dzień wzrósł ośmiokrotnie. Chmura ze swoją skalowalnością pozwoliła w sposób niezauważalny dla użytkowników obsłużyć ten skok.

Michał Żuralski podkreśla, że w tym wdrożeniu zbiegły się dwa aspekty. Po pierwsze widać w nim spełnienie obietnicy chmury, jaką jest skalowalność, po drugie – szybkość wdrożenia będącą wypadkową doświadczeń zespołów Virtualo i Devoteam.

Niski próg wejścia w chmurową analitykę

Obecnie Virtualo wykorzystuje jeszcze własną infrastrukturę, ale jej rola stopniowo maleje. Działają na niej na przykład systemy aportowania sprzedaży, które nie mają dużych wymagań, ani nie generują nietypowych wzrostów obciążeń. Chmura służy nie tylko do serwowania treści, ale przejmuje także specyficzne zadania, na przykład związane z gromadzeniem i analizą danych. Na przykład Virtualo korzysta z Google Fire Base do rejestrowania i analizowania operacji z urządzeń mobilnych oraz Big Query, skalowalnej hurtowni danych.

Sebastian podkreśla, że w przypadku instancji chmurowych Googla’a próg wejścia w zaawansowane możliwości analityczne jest niski: wszystkie rozwiązania użytkownik może sam wyklikać i pozostaje jedynie zasilić je danymi, bo korzystanie z konsol zarządczych jest całkiem proste. Virtualo bada m.in. gdzie znajdują się użytkownicy, w jakich porach i z jakich książek korzystają, ale prowadzi także bardziej złożone analizy dotyczące wyboru kategorii czy sposobu korzystania z poszczególnych treści. Narzędzia analityki chmurowej służą firmie także do oceny funkcjonalności nowych rozwiązań w aplikacji na podstawie zachowań użytkowników.

Dane integrowane w wielkiej skali

Selectivv powstał w 2015 roku i od początku korzysta wyłącznie z chmury, nie utrzymując w ogóle własnej infrastruktury IT. Zajmuje się marketingiem mobilnym, zbiera dane z aplikacji na smartfonach oraz ze stron internetowych, po to aby najlepiej dopasować reklamy do profilu użytkownika. Samo dopasowanie odbywa się w czasie rzeczywistym, następuje w wyniku aukcji w ciągu pojedynczych milisekund od pojawienia się informacji o możliwości wyświetlenia reklamy użytkownikowi o danym ID do jej zaserwowania. Aby zrobić to efektywnie Selectivv potrzebuje dokładnych danych o użytkowniku – tłumaczy jeden z założycieli firmy, Dominik Karbowski.

Zbiera je z różnych okruchów: informacji o wieku podanej w jednej z aplikacji, o płci z innej apki, o lokalizacji z serwisu pogodowego i wreszcie o użyciu aplikacji lotniczej, co sugeruje, że planuje wkrótce dalszą podróż. W godzinach nocnych reklamy wyświetla w Aninie, więc tam najprawdopodobniej mieszka, w ciągu dnia lokalizacja wskazuje na jedną z warszawskich uczelni, a popołudniami i wieczorami intensywnie przemieszcza się po mieście, często pomiędzy dużymi węzłami komunikacyjnymi (lotnisko, dworce), co może sugerować, że jest np. kierowcą Ubera. Dodatkowo widać, że korzysta z aplikacji randkowej, telefon jest ustawiony na język rosyjski i kilka razy w roku loguje się do sieci ukraińskiego operatora. To pozwala tworzyć szczegółowe profile użytkowników.

W ten sposób powstają ogromne zbiory danych, bo w Polsce Selectivv zbiera informacje o 17 mln użytkowników, a w Europie o 180 mln, a średnio o każdym ma 362 metryki. Na podstawie tych danych firma w ciągu 12 milisekund decyduje, czy chce wyświetlić określonemu użytkownikowi reklamę, jaką i. ile może za to zapłacić.

Dziesiątki analitycznych aplikacji do wyboru

„Specyfika naszego biznesu sprawiła, że w ogóle nie zastanawialiśmy się nad własną infrastrukturą IT” – przyznaje Dominik. Choć Selectivv jest firmą marketingową to faktycznie zajmuje się przetwarzaniem big data, co sekundę rejestrując 30 tys. nowych zdarzeń. Przy tej skali potrzeb analitycznych chmura staje się naturalnym wyborem. I choć Selectivv nigdy nie korzystał z własnych serwerowni, ma na swoim koncie jedną migrację: z chmury do chmury. Po pewnym czasie zdecydował się na Google Cloud Platform, a jako partnera wdrożeniowego wybrał Devoteam (wówczas jeszcze pod nazwą Avalon).

– „Nie znaliśmy jeszcze ani usług, ani nomenklatury Google’a. Trafiliśmy wtedy na człowieka znanego w całym środowisku chmurowym jako Emil z Devoteamu” – opowiada Dominik. Emil Dąbrowski, architekt chmurowy Devoteamu, posłuchał, czym zajmuje się klient i w ciągu 24 godzin napisał coś, co Dominik określa jako chmurowy biznes plan, wskazał narzędzia Google’a, które mogą okazać się pomocne, a nawet podpowiedział jak zdobyć specjalny grant Google’a (który zresztą Selectivv zdobył).

Dominik mówi, że podstawowym narzędziem Google’a dla jego firmy jest hurtownia Big Query. Ale ze względu na zmieniające się potrzeby klientów z zakresie analizy czy wizualizacji danych Selectivv stale sięga po nowe narzędzia. – „Pierwszym krokiem, który zawsze robimy, jest sprawdzenie chmurowego marketplace’u. To on jest dla mnie największą wartością dodaną do chmury Google’a – niemal zawsze w tym środowisku można znaleźć aplikację spełniającą konkretną potrzebę. Co miesiąc sprawdzamy kilka nowych rozwiązań” – mówi Dominik. Te obserwacje potwierdza Sebastian z Virtualo. – „Jeśli tylko pojawiają się nowe pomysły i oczekiwania, szukamy rozwiązań w GCP” – przyznaje.

Testowanie innowacji w chmurze

Wszyscy dostawcy chmury oferują jakieś narzędzia do pracy na danych. Big Query to według Michała coś, co wyróżnia Google’a. Skaluje się do petabajtów, doskonale integruje się z narzędziami do wizualizacji, takimi jak Data Studio do tworzenia raportów i dashboardów, czy Looker do budowy bardziej zaawansowanych platform analitycznych.

W firmowych realiach równie przydatne co rozwiązania analityczne są narzędzia pomagające w uruchamianiu nowych projektów. – „Jeżeli potrzebujemy nowej usługi serverless sięgamy po App Engine. Mamy w nim natywne środowisko programowania, mocno odciążające developerów w zadaniach operacyjnych związanych z infrastrukturą. Z kolei gotowe konfiguracje dockerowe pozwalają szybko przenieść aplikację do innego środowiska, nawet do własnej serwerowni” – mówi Sebastian.

Takie narzędzia – co podkreśla Michał – zapobiegają chmurowego vendor lockowi. – „Dzięki nim można łatwo przenosić się miedzy środowiskami, ale także na open source. Trzeba pamiętać, że wszystkie narzędzia, o których mówimy, były wypuszczane jako otwarte i mają swoje open source’owe odpowiedniki. Dlatego dla wielu firm wejście na platformę Google’a to bezpieczna ścieżka” – twierdzi Michał.

„Ogromną zaletą środowisk chmurowych, o której mało się mówi, jest łatwość testowania aplikacji i środowisk. Środowiska testowe są zwykle potrzebne przez krótki czas. Chmura umożliwia ich szybkie tworzenie i utrzymywanie przez czas potrzebny do podjęcia decyzji, co dalej” – zauważył Tomasz Kozieł. z Grupy Eneris

„Dla nas chmura jest wehikułem, dzięki któremu – choć jesteśmy małą firmą – potrafimy działać jak duża firma. Często mierzymy się z wielkimi operatorami komórkowymi, którzy mają do dyspozycji niesamowite moce obliczeniowe. My, mając do dyspozycji chmurę, idziemy jak równy z równym” – przekonywał Dominik.

„Przez wspomnianą łatwość testowania chmura podnosi innowacyjność. Ale dla mnie chmura to także duży spokój, Śpię spokojniej, bo można było zapomnieć o przydarzających się awariach własnej serwerowni. W ciągu ponad roku, od kiedy jesteśmy w chmurze, nasze obciążenia wzrosły kilkunastokrotnie, ale nie mieliśmy żadnej awarii” – przyznał Sebastian.

Narzędzia analityczne w Google Cloud

• BigQuery – hurtowania danych serverless, pozwala na proste i łatwe wykonywanie zapytań SQL. Ogromna skalowalność.
• Composer – narzędzie do analizy przebiegu danych.
• Dataflow – narzędzie do transformacji danych.
• Data Fuse – narzędzie do integracji danych.
• Data Catalog – narzędzie do wyszukiwania danych.
• BigQueryML – uczenie maszynowe na bigQuery.
• Dataproc – zarządzany (managed) Apache Spark i Hadoop.
• DataStudio – narzędzie do tworzenia dashboardów i automatycznego rozsyłania raportów.
• Looker – do tworzenia bardziej zaawansowanych dashboardów, wspomaganie raportów przez AI.