BigQuery Omni. Hurtownia danych w modelu multi-cloud

BigQuery Omni to wielodostępna hurtownia danych przeznaczona do pracy z dużymi zbiorami w środowisku multi-cloud. Z artykułu dowiesz się jak działa usługa BigQuery Omni i poznasz podstawowe korzyści płynące z jej wykorzystania w Twojej organizacji.

Nawet 81% użytkowników rozwiązań chmurowych może korzystać z usług więcej niż jednego dostawcy – tak wynika z analiz przeprowadzonych przez Gartnera. Zarządzanie aktywnością w modelu multi-cloud (chmur publicznych różnych dostawców) będzie stanowić dla biznesu coraz większe znaczenie.

Co to jest multi-cloud?

W modelu multi-cloud organizacja wykorzystuje usługi chmury publicznej dwóch lub więcej dostawców. Zależnie od wymagań, do specyficznych operacji może zatem używać jednocześnie zasobów Google Cloud Platform, Amazon Web Services oraz Microsoft Azure. Co ważne, najwięksi dostawcy usług chmurowych mają już w swojej ofercie usługi spinające ze sobą różne środowiska chmurowe, umożliwiając pracę w modelu multi-cloud. 

Dlaczego multi-cloud jest odpowiednim rozwiązaniem dla Twojej firmy?

Każdy z dostawców chmury publicznej oferuje usługi skrojone pod konkretne potrzeby użytkowników. Czasem jednak diabeł tkwi w szczegółach i zbudowanie produktu spełniającego wszystkie założenia danego projektu wymaga połączenia rozwiązań oferowanych przez kilku dostawców.

Drugim czynnikiem decydującym o wdrożeniu rozwiązań wielochmurowych może być czas dostępu. O sukcesie danej aplikacji czy usługi mogą decydować opóźnienia liczone w milisekundach. Jeśli aplikacja musi się cechować minimalnymi opóźnieniami w dostępie do danych, być może infrastruktura innego dostawcy chmurowego będzie bliżej docelowej lokalizacji dla użytkownika?

Korzyści korzystania z wielu chmur

Multi-cloud ucieleśnia filozofię kryjącą się za starożytnym przysłowiem: nie wkładaj wszystkich jajek do tego samego koszyka. Dostawcy chmury publicznej operują na bazie umów o gwarantowanym poziomie świadczenia usług (Service Level Agreement, w skrócie SLA). Warto pamiętać, że żadna z nich nie jest jednak w 100% odporna na awarie i zakłócenia w funkcjonowaniu.

Stawiając na rozwiązania wielochmurowe biznes ogranicza skutki potencjalnego ryzyka awarii w infrastrukturze jednego dostawcy, które mogą wpłynąć na działanie produktów firmy. Prawdopodobieństwo równoczesnej awarii u dwóch lub więcej dostawców chmury publicznej jest dużo niższe, a stabilność działania organizacji bazującej na modelu multicloud zwiększa się wręcz wykładniczo.

Ponadto rozwiązania wielochmurowe pomagają unikać organizacjom uzależnienia od usług konkretnego dostawcy – tzw. vendor lock-in. To sytuacja, w której biznes jest przywiązany do jednego operatora chmurowego, a zmiana środowiska wiąże się z dodatkowymi kosztami i ograniczeniami. W modelu multi-cloud biznes zyskuje więc większą autonomię w działaniu. Może wybierać spośród wielu ofert dających organizacji połączenie możliwie najlepszego dopasowania i najniższego kosztu.

Zettabajty. Zettabajty wszędzie

Według raportu IDC sporządzonego na zamówienie firmy Seagate, globalny wolumen danych, nad którymi trzeba będzie zapanować wzrośnie lawinowo. Jeszcze w 2018 roku globalną sferę danych oszacowano na 33 zettabajty (ZB). Tymczasem już w 2025 roku ten wynik może osiągnąć poziom 175 zettabajtów. IDC przewiduje, że do tego czasu 49% wszystkich danych będzie przechowywane w chmurach publicznych.

Ze wspomnianych 175 zettabajtów aż 80% mają stanowić dane należące do dużych przedsiębiorstw. Aby zdać sobie sprawę ze skali dobrze wiedzieć, że zettabajt to 1000 eksabajtów. Eksabajt (EB) to odpowiednik 1000 petabajtów. Każdy petabajt (PB) to z kolei 1000 terabajtów (TB).

Jak podaje Seagate, zettabajt danych stanowi odpowiednik 30 mld filmów w jakości 4K. Jeśli chciałbyś zgromadzić w domu pamięć masową o pojemności 3 zettabajtów, szykuj sporo miejsca – będziesz potrzebować do tego 300 mln dysków twardych. Każdy z takich dysków musi mieć pojemność 10 TB.

A jak szybko można zapełnić takie nośniki? Analitycy Morgan Stanley twierdzą, że kamery, radary i czujniki autonomicznego auta będą w przyszłości generować każdej godziny do 40 TB nowych danych.

Silosy danych – wyzwanie dla analityków

Według badania firmy Blissfully małe firmy (do 100 pracowników) korzystają z około setki aplikacji. Biznes średniej wielkości (od 100 do 1000 pracowników) używa 137 aplikacji. W dużych organizacjach zatrudniających ponad 1000 pracowników, takich aplikacji może być nawet 280. Każdy dział w firmie korzysta z innych aplikacji, a każda z aplikacji generuje swoje dane. Problem stanowi skuteczna integracja zróżnicowanych danych z tak wielu źródeł. W ten sposób powstają tzw. silosy danych – źródła informacji odseparowane od innych, same z siebie nie mające kontekstu i pola do interpretacji.

Dlatego potrzebujesz hurtowni danych i takich usług jak BigQuery, które nie tylko agregują petabajty informacji z różnych źródeł. Zapewniają też spójne i zwinne środowisko do ich analizy. A co w sytuacji, jeśli Twoja organizacja korzysta z rozwiązań chmurowych więcej niż jednego dostawcy? Wtedy potrzebujesz BigQuery Omni.

Co to jest BigQuery Omni

BigQuery Omni to nic innego, jak usługa hurtowni danych (data warehouse) dostępna dla modelu multi-cloud (kiedy Twoja organizacja używa kilku środowisk chmurowych). Możesz błyskawicznie analizować duże zbiory aktualnych i archiwalnych danych z chmur publicznych Amazon Web Services (AWS) oraz Microsoft Azure. Zrobisz to bez opuszczania dobrze znanego interfejsu BigQuery w konsoli Google Cloud Platform.

Architektura BigQuery zakłada oddzielenie warstwy obliczeniowej od warstwy danych. Dzięki temu może się szybko skalować i sprostać dużemu obciążeniu. Omni stanowi rozszerzenie tej koncepcji, uruchamiając silnik zapytań BigQuery o nazwie Dremel bezpośrednio w chmurach publicznych Amazon i Microsoft. Nie ma więc potrzeby przenoszenia informacji pomiędzy ekosystemami – przetwarzanie danych odbywa się w miejscu ich przechowywania.

Dremel może działać poza chmurą Google Cloud Platform jako kontener, który pracuje pod kontrolą platformy zarządzającej Anthos. To ona odpowiada za spójną orkiestrację, wdrażanie i bezpieczeństwo klastrów Kubernetesa w różnych typach środowisk (on-premise, chmura hybrydowa oraz multi-cloud). 

BigQuery Omni używa standardowych systemów autoryzacji i dostępu do zasobów Amazon Web Services (AWS IAM) oraz Microsoft Azure (Azure Active Directory).

Chcesz wiedzieć więcej usłudze o BigQuery? Przeczytaj nasz artykuł: BigQuery – co to jest i jak zacząć? Tutorial

Po zakończeniu przetwarzania wyniki zapytań BigQuery Omni mogą zostać bezpośrednio przesłane zabezpieczonym połączeniem VPN do BigQuery lub konsoli Google Cloud. Można je też zapisać w składnicach danych Amazon Web Services (S3) oraz Microsoft Azure (Blob Storage), całkowicie eliminując konieczność transferu pomiędzy chmurami.

Do korzystania z BigQuery Omni używasz standardowego, bazodanowego języka zapytań SQL. Do tego nie musisz się przejmować kwestiami zarządzania infrastrukturą pomiędzy różnymi środowiskami chmurowymi. Tym zajmuje się wspomniana wcześniej platforma Anthos.

Dlaczego warto skorzystać z BigQuery Omni?

Poniżej znajdziesz kilka korzyści wynikających z wykorzystania BigQuery Omni w Twojej organizacji.

1. Wydajność. Dane nie są kopiowane pomiędzy chmurami, a zapytania są przetwarzane w tym samym regionie, gdzie przechowuje się źródłowe informacje. Dzięki temu BigQuery Omni zapewnia błyskawiczny dostęp do możliwości analizowania danych rozproszonych po różnych chmurach publicznych. 

2. Brak dodatkowych kosztów. Nie ponosisz żadnych dodatkowych opłat na kontach AWS i Azure związanych z prowadzeniem analityki BigQuery Omni. Zapytania przetwarzane są bowiem w klastrach zarządzanych przez Google. Rozliczenie następuje na bazie samych zapytań, z wykorzystaniem dotychczasowego cennika BigQuery.

3. Bezpieczeństwo. Surowe dane, które gromadzisz w chmurach AWS i Azure nie ruszają się z miejsca – nie są ani przenoszone, ani kopiowane. Obliczenia na nich prowadzone są w wielodostępnej usłudze BigQuery, uruchamianej w tym samym regionie.

4. Architektura serverless. Podobnie jak BigQuery, BigQuery Omni jest usługą, w której nie musisz się przejmować infrastrukturą. Za zarządzanie klastrami BigQuery Omni odpowiada dostawca rozwiązań chmurowych, czyli w tym wypadku Google.

5. Łatwość zarządzania. Otrzymujesz dostęp do ujednoliconego interfejsu BigQuery Omni w Google Cloud. Możesz używać usługi w istniejących projektach na swoim koncie w GCP. Wpisywanie zapytań SQL odbywa się z poziomu konsoli Google Cloud. 

Nie wiesz jak wdrożyć zaawansowaną analitykę w firmie i skalować biznes z pomocą usług Google Cloud? Obejrzysz nasz webinar: Biznes oparty na danych w chmurze

BigQuery Omni – ile kosztuje usługa w Google Cloud Platform

Za korzystanie z BigQuery Omni w Google Cloud Platform rozliczasz się w systemie flat-rate, czyli jednym z dwóch składników rozliczeń za usługę BigQuery. 

Kupujesz sloty, rezerwując określone zasoby vCPU, które następnie wykorzystuje się do prowadzenia analizy. Można zobowiązać się do pracy usługi przez minimum 60 sekund (flex plan), przez 30 dni w ciągu miesiąca (monthly plan) lub przez 365 dni w ciągu roku (annual plan). Im większa rezerwacja z góry, tym niższa cena za usługę. W BigQuery Omni nie ponosisz dodatkowych kosztów związanych z przechowywaniem danych.

W razie jakichkolwiek wątpliwości związanych z cennikiem usługi polecamy skorzystać również z oficjalnego kalkulatora usług Google Cloud Platform.

Obawiasz się początków z BigQuery Omni? Pomożemy!

FOTC może zostać Twoim partnerem w podróży do chmury Google Cloud. Jako oficjalny partner Google Cloud w rejonie Europy Środkowo-Wschodniej pomagamy we wdrożeniu i utrzymaniu usług GCP dla biznesu. 

Mamy w swoich szeregach szerokie grono inżynierów oraz architektów chmurowych, których umiejętności i doświadczenie potwierdzają liczne certyfikaty. Wyszkolona kadra FOTC pomaga na każdym etapie migracji do chmury Google.

Możesz też liczyć na atrakcyjne zniżki i wsparcie 24/7 w lokalnym języku. Jakieś pytania? Zapytaj nas o szczegóły!