Platforma do strumieniowego przetwarzania danych Horizon
Bez stałego inwestowania w rozwój, poszerzania oferty i dostosowywania jej do wymogów i oczekiwań klientów oraz tempa zmieniającego się świata – przedsiębiorstwa czeka niechybny koniec. Szczególnie rzuca się to w oczy w branży IT, gdzie czas na dostosowanie oferty do nowej rzeczywistości jest wyjątkowo krótki.
Chcąc zachować konkurencyjną pozycję na rynku, firmy informatyczne muszą stale inwestować w prace badawczo-rozwojowe (B+R). Dzięki autorskim rozwiązaniom ich produkty i usługi są coraz lepiej dopasowane do potrzeb klientów. Lokując systematycznie środki w prace B+R, warto sięgnąć po wsparcie, jakie oferują fundusze europejskie. Z takiego dofinansowania skorzystała spółka Oktawave, zajmująca się przede wszystkim dostarczaniem usługi chmury obliczeniowej. Pozyskane środki przeznaczyła na opracowanie nowego produktu – platformy do strumieniowego przetwarzania danych (stream processingu) Oktawave Delta Flow, znanej też jako Horizon.
W świecie internetu rzeczy
Żyjemy w epoce czwartej rewolucji przemysłowej, w świecie internetu rzeczy (IoT), danych i usług, w którym urządzenia zbierają i przesyłają niepoliczalną ilość informacji i, bazując na nich, podejmują decyzje, coraz częściej bez udziału człowieka.
Część informacji jest gromadzona, a na ich podstawie opracowywane są strategie marketingowe, podejmowane długofalowe decyzje. Potrzebne są do tego olbrzymie bazy danych, których utrzymywanie jest prawdziwym wyzwaniem, do udźwignięcia wyłącznie przez największych i najbogatszych graczy na rynku. Jednak to tylko jedna część tzw. Big Data. Druga zazwyczaj nie jest gromadzona, a decyzje zapadające na podstawie zgromadzonych danych nie mogą czekać. Dzieje się to błyskawicznie, w czasie rzeczywistym.
grafika: Freepik
Platforma do strumieniowego przetwarzania danych
Właśnie w takich sytuacjach wyzwanie podejmują platformy do strumieniowego przetwarzania danych. – W dziedzinie IoT istnieje bardzo dużo generatorów danych. Wiele urządzeń próbuje wysyłać różnego rodzaju informacje – np. na temat lokalizacji czy stanu otoczenia, w którym się znajdują. Taki sprzęt może się znajdować w przestrzeni miejskiej, budynkach, urządzeniach, samochodach. Porcje danych pochodzących od jednego generatora, np. czujnika ruchu na autostradzie, to jest strumień danych. Strumienie danych z takich samych czy podobnych generatorów danych muszą być w jakiś sposób zebrane i przetworzone, a na ich bazie wyciągane są wnioski i podejmowane decyzje – tłumaczy Maciej Kuźniar, wiceprezes i dyrektor zarządzający Oktawave SA.
Wszystko to dzieje się bardzo szybko, w ciągu milisekund. Przykładem prostego zastosowania strumieniowego przetwarzania danych jest monitoring miejsc parkingowych w mieście i podpowiadanie za pomocą aplikacji w smartfonie kierowcom, dokąd mają jechać, by zostawić swój samochód. Jednak zastosowań jest znacznie więcej. Dzięki tej technologii można np. efektywniej dystrybuować energię elektryczną, monitorować linię produkcyjną w fabryce czy ruch na ulicach.
Horizon – rozwiązanie kompleksowe
Horizon nie był pierwszą platformą do strumieniowego przetwarzania danych. Żeby wejść na rynek, spółka Oktawave musiała więc zaproponować nowe i lepsze rozwiązania. Jej pierwszą przewagą było to, że w przeciwieństwie do innych przedsiębiorstw oferujących podobne produkty, warszawska firma wypracowała rozwiązanie kompleksowe, w którym wszystkie elementy systemu sprzedawane są łącznie. – Wyszliśmy z założenia, że klient potrzebuje kupić rozwiązanie kompletne. Dużo łatwiej będzie mu wykonać onboarding, czyli uruchomienie systemu w chmurze, jeśli w jednym panelu, w jednym interfejsie, w jednym systemie będzie mógł skonfigurować cały proces. I to było dość istotne założenie i znacząca przewaga do dnia dzisiejszego – mówi Maciej Kuźniar.
Kolektor, procesor i emiter
Platforma Horizon składa się z trzech komponentów. Pierwszym jest kolektor, który zbiera miliony komunikatów z różnych strumieni, porządkuje je, przeprowadza podstawową organizację i przekazuje do kolejnego modułu, którym jest procesor. W nim następuje analiza danych, tzn. uruchamiany jest algorytm, na podstawie którego podejmowane są decyzje. Gdy znane są już efekty pracy algorytmu, czyli zapadły decyzje, są one wysyłane do trzeciego modułu – emitera. Ten zaś jest komponentem, który zbiera efekty analizy danych i udostępnia je w formie zrozumiałej dla innej maszyny, czyli API. – Krótko mówiąc, w API, w emiterze znajduje się wynik działania algorytmu, który może pobrać aplikacja na telefonie, sygnalizator świetlny albo jakieś urządzenie dystrybutora energii. Rola człowieka jest ograniczona do zarządzania systemem i kontrolowania całego procesu. Może poprawić algorytm, ale całą robotę wykonują trzy komponenty – wyjaśnia wiceprezes Oktawave SA.
grafika: Chroma Stock
Wyższy poziom konkurencyjności
Przewaga Horizon wynika również z zastosowania zaawansowanych rozwiązań kryptograficznych. – To był dość zaskakujący efekt prac badawczych prowadzonych wspólnie z naukowcami z Katedry Matematyki i Cybernetyki Uniwersytetu Wrocławskiego. Okazało się jednak, że tego rodzaju rozwiązanie jest oczekiwane na rynku, a w systemie strumieniowym można taką funkcjonalność wprowadzić – mówi Maciej Kuźniar.
Rozwiązanie można bowiem wykorzystać do wprowadzenia kryptografii do obecnie istniejących systemów IT, które nie posiadają funkcji szyfrujących.
Jest to możliwe dzięki udostępnieniu w ramach Horizon metod kryptograficznych wspierających FPE (Format Preserved Encryption). Metody te pozwalają na zaszyfrowanie danych numerycznych, takich jak np. numer PESEL czy numer karty kredytowej, w taki sposób, aby powstały ciąg znaków miał format idealnie zgodny z ciągiem wejściowym. Innymi słowy, zaszyfrowany PESEL nadal wygląda jak PESEL, jednak dla osoby, która nie ma klucza deszyfrującego, nie przedstawia on żadnej wartości. W efekcie można wykorzystać metody udostępnione w projekcie do wprowadzenia szyfrowania w systemach i bazach danych bez konieczności ich całkowitej przebudowy. Jest to możliwe dzięki zgodności formatów i gwarantuje większe bezpieczeństwo informatyczne – dodaje Maciej Kuźniar.
To niejedyny efekt realizacji projektu. Horizon może również funkcjonować jako narzędzie wspomagające wydawców reklam, gdyż system jest w stanie analizować zachowanie użytkownika przeglądarki internetowej w czasie rzeczywistym i w ciągu milisekund dostarczać informację o preferowanych reklamach.
Jednak przede wszystkim Horizon wspiera firmy z branży IoT – głównie polskie, bo ten rynek jest dla Oktawave SA kluczowy. – Takie rozwiązanie jak Horizon jest uzupełnieniem naszej półki produktowej w dziedzinie Big Data. Przenosi to firmę na wyższy poziom konkurencyjności względem globalnych dostawców – podsumowuje Maciej Kuźniar.
Marek Rokita