{"id":69168,"date":"2022-04-08T13:36:04","date_gmt":"2022-04-08T11:36:04","guid":{"rendered":"https:\/\/fotc.com\/?p=69168"},"modified":"2023-11-22T13:44:43","modified_gmt":"2023-11-22T12:44:43","slug":"bigquery-omni-hurtownia-danych-multi-cloud","status":"publish","type":"post","link":"https:\/\/fotc.com\/pl\/blog\/bigquery-omni-hurtownia-danych-multi-cloud\/","title":{"rendered":"BigQuery Omni. Hurtownia danych w modelu multi-cloud"},"content":{"rendered":"\n
BigQuery Omni to wielodost\u0119pna hurtownia danych przeznaczona do pracy z du\u017cymi zbiorami w \u015brodowisku multi-cloud. Z artyku\u0142u dowiesz si\u0119 jak dzia\u0142a us\u0142uga BigQuery Omni i poznasz podstawowe korzy\u015bci p\u0142yn\u0105ce z jej wykorzystania w Twojej organizacji.<\/p>\n\n\n\n
Nawet 81% u\u017cytkownik\u00f3w rozwi\u0105za\u0144 chmurowych mo\u017ce korzysta\u0107 z us\u0142ug wi\u0119cej ni\u017c jednego dostawcy – tak wynika z analiz przeprowadzonych przez Gartnera<\/a>. Zarz\u0105dzanie aktywno\u015bci\u0105 w modelu multi-cloud (chmur publicznych r\u00f3\u017cnych dostawc\u00f3w) b\u0119dzie stanowi\u0107 dla biznesu coraz wi\u0119ksze znaczenie.<\/p>\n\n\n\n W modelu multi-cloud organizacja wykorzystuje us\u0142ugi chmury publicznej dw\u00f3ch lub wi\u0119cej dostawc\u00f3w. Zale\u017cnie od wymaga\u0144, do specyficznych operacji mo\u017ce zatem u\u017cywa\u0107 jednocze\u015bnie zasob\u00f3w Google Cloud Platform<\/a><\/strong>, Amazon Web Services<\/strong> oraz Microsoft Azure<\/strong>. Co wa\u017cne, najwi\u0119ksi dostawcy us\u0142ug chmurowych maj\u0105 ju\u017c w swojej ofercie us\u0142ugi spinaj\u0105ce ze sob\u0105 r\u00f3\u017cne \u015brodowiska chmurowe, umo\u017cliwiaj\u0105c prac\u0119 w modelu multi-cloud.\u00a0<\/p>\n\n\n\n Ka\u017cdy z dostawc\u00f3w chmury publicznej oferuje us\u0142ugi skrojone pod konkretne potrzeby u\u017cytkownik\u00f3w. Czasem jednak diabe\u0142 tkwi w szczeg\u00f3\u0142ach i zbudowanie produktu spe\u0142niaj\u0105cego wszystkie za\u0142o\u017cenia danego projektu wymaga po\u0142\u0105czenia rozwi\u0105za\u0144 oferowanych przez kilku dostawc\u00f3w.<\/p>\n\n\n\n Drugim czynnikiem decyduj\u0105cym o wdro\u017ceniu rozwi\u0105za\u0144 wielochmurowych mo\u017ce by\u0107 czas dost\u0119pu. O sukcesie danej aplikacji czy us\u0142ugi mog\u0105 decydowa\u0107 op\u00f3\u017anienia liczone w milisekundach. Je\u015bli aplikacja musi si\u0119 cechowa\u0107 minimalnymi op\u00f3\u017anieniami w dost\u0119pie do danych, by\u0107 mo\u017ce infrastruktura innego dostawcy chmurowego b\u0119dzie bli\u017cej docelowej lokalizacji dla u\u017cytkownika?<\/p>\n\n\n\n Multi-cloud uciele\u015bnia filozofi\u0119 kryj\u0105c\u0105 si\u0119 za staro\u017cytnym przys\u0142owiem: nie wk\u0142adaj wszystkich jajek do tego samego koszyka<\/em>. Dostawcy chmury publicznej operuj\u0105 na bazie um\u00f3w o gwarantowanym poziomie \u015bwiadczenia us\u0142ug<\/strong> (Service Level Agreement, w skr\u00f3cie SLA). Warto pami\u0119ta\u0107, \u017ce \u017cadna z nich nie jest jednak w 100% odporna na awarie i zak\u0142\u00f3cenia w funkcjonowaniu.<\/p>\n\n\n\n Stawiaj\u0105c na rozwi\u0105zania wielochmurowe biznes ogranicza skutki potencjalnego ryzyka awarii w infrastrukturze jednego dostawcy, kt\u00f3re mog\u0105 wp\u0142yn\u0105\u0107 na dzia\u0142anie produkt\u00f3w firmy. Prawdopodobie\u0144stwo r\u00f3wnoczesnej awarii u dw\u00f3ch lub wi\u0119cej dostawc\u00f3w chmury publicznej jest du\u017co ni\u017csze, a stabilno\u015b\u0107 dzia\u0142ania organizacji<\/strong> bazuj\u0105cej na modelu multicloud zwi\u0119ksza si\u0119 wr\u0119cz wyk\u0142adniczo.<\/p>\n\n\n\n Ponadto rozwi\u0105zania wielochmurowe pomagaj\u0105 unika\u0107 organizacjom uzale\u017cnienia od us\u0142ug konkretnego dostawcy – tzw. vendor lock-in<\/strong>. To sytuacja, w kt\u00f3rej biznes jest przywi\u0105zany do jednego operatora chmurowego, a zmiana \u015brodowiska wi\u0105\u017ce si\u0119 z dodatkowymi kosztami i ograniczeniami. W modelu multi-cloud biznes zyskuje wi\u0119c wi\u0119ksz\u0105 autonomi\u0119 w dzia\u0142aniu. Mo\u017ce wybiera\u0107 spo\u015br\u00f3d wielu ofert daj\u0105cych organizacji po\u0142\u0105czenie mo\u017cliwie najlepszego dopasowania i najni\u017cszego kosztu.<\/p>\n\n\n\n Wed\u0142ug raportu IDC sporz\u0105dzonego na zam\u00f3wienie firmy Seagate<\/a>, globalny wolumen danych, nad kt\u00f3rymi trzeba b\u0119dzie zapanowa\u0107 wzro\u015bnie lawinowo. Jeszcze w 2018 roku globaln\u0105 sfer\u0119 danych oszacowano na 33 zettabajty (ZB). Tymczasem ju\u017c w 2025 roku ten wynik mo\u017ce osi\u0105gn\u0105\u0107 poziom 175 zettabajt\u00f3w<\/strong>. IDC przewiduje, \u017ce do tego czasu 49% wszystkich danych b\u0119dzie przechowywane w chmurach publicznych.<\/p>\n\n\n\n Ze wspomnianych 175 zettabajt\u00f3w a\u017c 80% maj\u0105 stanowi\u0107 dane nale\u017c\u0105ce do du\u017cych przedsi\u0119biorstw. Aby zda\u0107 sobie spraw\u0119 ze skali dobrze wiedzie\u0107, \u017ce zettabajt to 1000 eksabajt\u00f3w. Eksabajt (EB) to odpowiednik 1000 petabajt\u00f3w. Ka\u017cdy petabajt (PB) to z kolei 1000 terabajt\u00f3w (TB).<\/p>\n\n\n\n Jak podaje Seagate, zettabajt danych stanowi odpowiednik 30 mld film\u00f3w w jako\u015bci 4K. Je\u015bli chcia\u0142by\u015b zgromadzi\u0107 w domu pami\u0119\u0107 masow\u0105 o pojemno\u015bci 3 zettabajt\u00f3w, szykuj sporo miejsca – b\u0119dziesz potrzebowa\u0107 do tego 300 mln dysk\u00f3w twardych. Ka\u017cdy z takich dysk\u00f3w musi mie\u0107 pojemno\u015b\u0107 10 TB.<\/p>\n\n\n\n A jak szybko mo\u017cna zape\u0142ni\u0107 takie no\u015bniki? Analitycy Morgan Stanley twierdz\u0105<\/a>, \u017ce kamery, radary i czujniki autonomicznego auta b\u0119d\u0105 w przysz\u0142o\u015bci generowa\u0107 ka\u017cdej godziny do 40 TB nowych danych.<\/p>\n\n\n\n Wed\u0142ug badania firmy Blissfully<\/a> ma\u0142e firmy (do 100 pracownik\u00f3w) korzystaj\u0105 z oko\u0142o setki aplikacji. Biznes \u015bredniej wielko\u015bci (od 100 do 1000 pracownik\u00f3w) u\u017cywa 137 aplikacji. W du\u017cych organizacjach zatrudniaj\u0105cych ponad 1000 pracownik\u00f3w, takich aplikacji mo\u017ce by\u0107 nawet 280. Ka\u017cdy dzia\u0142 w firmie korzysta z innych aplikacji, a ka\u017cda z aplikacji generuje swoje dane. Problem stanowi skuteczna integracja zr\u00f3\u017cnicowanych danych z tak wielu \u017ar\u00f3de\u0142. W ten spos\u00f3b powstaj\u0105 tzw. silosy danych<\/strong> – \u017ar\u00f3d\u0142a informacji odseparowane od innych, same z siebie nie maj\u0105ce kontekstu i pola do interpretacji.<\/p>\n\n\n\n Dlatego potrzebujesz hurtowni danych i takich us\u0142ug jak BigQuery, kt\u00f3re nie tylko agreguj\u0105 petabajty informacji z r\u00f3\u017cnych \u017ar\u00f3de\u0142. Zapewniaj\u0105 te\u017c sp\u00f3jne i zwinne \u015brodowisko do ich analizy. A co w sytuacji, je\u015bli Twoja organizacja korzysta z rozwi\u0105za\u0144 chmurowych wi\u0119cej ni\u017c jednego dostawcy? Wtedy potrzebujesz BigQuery Omni.<\/p>\n\n\n\n BigQuery Omni<\/strong> to nic innego, jak us\u0142uga hurtowni danych (data warehouse)<\/a> dost\u0119pna dla modelu multi-cloud (kiedy Twoja organizacja u\u017cywa kilku \u015brodowisk chmurowych). Mo\u017cesz b\u0142yskawicznie analizowa\u0107 du\u017ce zbiory aktualnych i archiwalnych danych z chmur publicznych Amazon Web Services (AWS) oraz Microsoft Azure. Zrobisz to bez opuszczania dobrze znanego interfejsu BigQuery w konsoli Google Cloud Platform.<\/p>\n\n\n\n Architektura BigQuery zak\u0142ada oddzielenie warstwy obliczeniowej od warstwy danych<\/strong>. Dzi\u0119ki temu mo\u017ce si\u0119 szybko skalowa\u0107 i sprosta\u0107 du\u017cemu obci\u0105\u017ceniu. Omni stanowi rozszerzenie tej koncepcji, uruchamiaj\u0105c silnik zapyta\u0144 BigQuery o nazwie Dremel<\/strong> bezpo\u015brednio w chmurach publicznych Amazon i Microsoft. Nie ma wi\u0119c potrzeby przenoszenia informacji pomi\u0119dzy ekosystemami – przetwarzanie danych odbywa si\u0119 w miejscu ich przechowywania.<\/p>\n\n\n\n Dremel mo\u017ce dzia\u0142a\u0107 poza chmur\u0105 Google Cloud Platform jako kontener<\/strong>, kt\u00f3ry pracuje pod kontrol\u0105 platformy zarz\u0105dzaj\u0105cej Anthos. To ona odpowiada za sp\u00f3jn\u0105 orkiestracj\u0119, wdra\u017canie i bezpiecze\u0144stwo klastr\u00f3w Kubernetesa w r\u00f3\u017cnych typach \u015brodowisk (on-premise, chmura hybrydowa oraz multi-cloud). <\/p>\n\n\n\n BigQuery Omni u\u017cywa standardowych system\u00f3w autoryzacji i dost\u0119pu do zasob\u00f3w Amazon Web Services (AWS IAM) oraz Microsoft Azure (Azure Active Directory).<\/p>\n\n\n\n Chcesz wiedzie\u0107 wi\u0119cej us\u0142udze o BigQuery? Przeczytaj nasz artyku\u0142: BigQuery<\/a> \u2013 co to jest i jak zacz\u0105\u0107? Tutorial<\/p>\n\n\n\n Po zako\u0144czeniu przetwarzania wyniki zapyta\u0144 BigQuery Omni mog\u0105 zosta\u0107 bezpo\u015brednio przes\u0142ane zabezpieczonym po\u0142\u0105czeniem VPN do BigQuery lub konsoli Google Cloud. Mo\u017cna je te\u017c zapisa\u0107 w sk\u0142adnicach danych Amazon Web Services (S3) oraz Microsoft Azure (Blob Storage), ca\u0142kowicie eliminuj\u0105c konieczno\u015b\u0107 transferu pomi\u0119dzy chmurami.<\/p>\n\n\n\n Do korzystania z BigQuery Omni u\u017cywasz standardowego, bazodanowego j\u0119zyka zapyta\u0144 SQL<\/strong>. Do tego nie musisz si\u0119 przejmowa\u0107 kwestiami zarz\u0105dzania infrastruktur\u0105 pomi\u0119dzy r\u00f3\u017cnymi \u015brodowiskami chmurowymi. Tym zajmuje si\u0119 wspomniana wcze\u015bniej platforma Anthos.<\/p>\n\n\n\n Poni\u017cej znajdziesz kilka korzy\u015bci wynikaj\u0105cych z wykorzystania BigQuery Omni w Twojej organizacji.<\/p>\n\n\n\n Nie wiesz jak wdro\u017cy\u0107 zaawansowan\u0105 analityk\u0119 w firmie i skalowa\u0107 biznes z pomoc\u0105 us\u0142ug Google Cloud? Obejrzysz nasz webinar: Biznes oparty na danych w chmurze<\/a><\/p>\n\n\n\n Za korzystanie z BigQuery Omni w Google Cloud Platform rozliczasz si\u0119 w systemie flat-rate<\/strong>, czyli jednym z dw\u00f3ch sk\u0142adnik\u00f3w rozlicze\u0144 za us\u0142ug\u0119 BigQuery. <\/p>\n\n\n\n Kupujesz sloty, rezerwuj\u0105c okre\u015blone zasoby vCPU, kt\u00f3re nast\u0119pnie wykorzystuje si\u0119 do prowadzenia analizy. Mo\u017cna zobowi\u0105za\u0107 si\u0119 do pracy us\u0142ugi przez minimum 60 sekund (flex plan), przez 30 dni w ci\u0105gu miesi\u0105ca (monthly plan) lub przez 365 dni w ci\u0105gu roku (annual plan). Im wi\u0119ksza rezerwacja z g\u00f3ry, tym ni\u017csza cena za us\u0142ug\u0119. W BigQuery Omni nie ponosisz dodatkowych koszt\u00f3w zwi\u0105zanych z przechowywaniem danych.<\/p>\n\n\n\n W razie jakichkolwiek w\u0105tpliwo\u015bci zwi\u0105zanych z cennikiem us\u0142ugi polecamy skorzysta\u0107 r\u00f3wnie\u017c z oficjalnego kalkulatora us\u0142ug Google Cloud Platform<\/a>.<\/p>\n\n\n\n FOTC mo\u017ce zosta\u0107 Twoim partnerem w podr\u00f3\u017cy do chmury Google Cloud. Jako oficjalny partner Google Cloud w rejonie Europy \u015arodkowo-Wschodniej pomagamy we wdro\u017ceniu i utrzymaniu us\u0142ug GCP dla biznesu. <\/p>\n\n\n\n Mamy w swoich szeregach szerokie grono in\u017cynier\u00f3w oraz architekt\u00f3w chmurowych, kt\u00f3rych umiej\u0119tno\u015bci i do\u015bwiadczenie potwierdzaj\u0105 liczne certyfikaty. Wyszkolona kadra FOTC pomaga na ka\u017cdym etapie migracji do chmury Google.<\/p>\n\n\n\nCo to jest multi-cloud?<\/h2>\n\n\n\n
Dlaczego multi-cloud jest odpowiednim rozwi\u0105zaniem dla Twojej firmy?<\/h2>\n\n\n\n
Korzy\u015bci korzystania z wielu chmur<\/h2>\n\n\n\n
Zettabajty. Zettabajty wsz\u0119dzie<\/h2>\n\n\n\n
Silosy danych – wyzwanie dla analityk\u00f3w<\/h2>\n\n\n\n
Co to jest BigQuery Omni<\/h2>\n\n\n\n
Dlaczego warto skorzysta\u0107 z BigQuery Omni?<\/h2>\n\n\n\n
BigQuery Omni – ile kosztuje us\u0142uga w Google Cloud Platform<\/h2>\n\n\n\n
Obawiasz si\u0119 pocz\u0105tk\u00f3w z BigQuery Omni? Pomo\u017cemy!<\/h2>\n\n\n\n