{"id":62151,"date":"2022-02-07T14:46:58","date_gmt":"2022-02-07T13:46:58","guid":{"rendered":"https:\/\/fotc.com\/?p=62151"},"modified":"2023-12-22T11:46:27","modified_gmt":"2023-12-22T10:46:27","slug":"hurtownia-danych","status":"publish","type":"post","link":"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/","title":{"rendered":"Data Warehouse, czyli hurtownia danych &#8211; jak dzia\u0142a i pomaga w biznesie?"},"content":{"rendered":"\n<div class=\"wp-block-yoast-seo-table-of-contents yoast-table-of-contents collapsed\"><h2>Spis tre\u015bci<\/h2><ul><li><a href=\"#h-co-to-jest-data-warehouse\" data-level=\"2\">Co to jest Data Warehouse?<\/a><\/li><li><a href=\"#h-korzy-ci-dla-firmy-p-yn-ce-z-posiadania-hurtowni-danych\" data-level=\"2\">Korzy\u015bci dla firmy p\u0142yn\u0105ce z posiadania hurtowni danych<\/a><\/li><li><a href=\"#h-data-warehouse-jak-to-dzia-a-architektura-hurtowni-danych\" data-level=\"2\">Data Warehouse &#8211; jak to dzia\u0142a? Architektura hurtowni danych<\/a><\/li><li><a href=\"#h-bazy-danych-a-hurtownia-danych-oltp-i-olap-systemy-przechowywania-danych\" data-level=\"2\">Bazy danych a hurtownia danych \u2013 OLTP i OLAP \u2013 systemy przechowywania danych  <\/a><\/li><li><a href=\"#h-jak-dzia-a-hurtownia-danych-w-chmurze\" data-level=\"2\">Jak dzia\u0142a hurtownia danych w chmurze<\/a><ul><li><a href=\"#h-dlaczego-warto-przeprowadzi-migracj-hurtowni-danych-na-google-cloud-platform\" data-level=\"3\">Dlaczego warto przeprowadzi\u0107 migracj\u0119 hurtowni danych na Google Cloud Platform?<\/a><\/li><\/ul><\/li><li><a href=\"#h-us-ugi-gcp-u-ywane-do-budowy-hurtowni-danych-w-chmurze\" data-level=\"2\">Us\u0142ugi GCP u\u017cywane do budowy hurtowni danych w chmurze<\/a><ul><li><a href=\"#h-cloud-storage\" data-level=\"3\">Cloud Storage<\/a><\/li><li><a href=\"#h-pub-sub\" data-level=\"3\">Pub\/Sub<\/a><\/li><li><a href=\"#h-dataprep-by-trifacta\" data-level=\"3\">Dataprep by Trifacta<\/a><\/li><li><a href=\"#h-data-catalog\" data-level=\"3\">Data Catalog<\/a><\/li><li><a href=\"#h-dataflow\" data-level=\"3\">Dataflow<\/a><\/li><li><a href=\"#h-dataproc\" data-level=\"3\">Dataproc<\/a><\/li><li><a href=\"#h-cloud-data-fusion\" data-level=\"3\">Cloud Data Fusion<\/a><\/li><li><a href=\"#h-cloud-composer\" data-level=\"3\">Cloud Composer<\/a><\/li><li><a href=\"#h-bigquery\" data-level=\"3\">BigQuery<\/a><\/li><li><a href=\"#h-cloud-life-sciences\" data-level=\"3\">Cloud Life Sciences<\/a><\/li><li><a href=\"#h-google-data-studio\" data-level=\"3\">Google Data Studio<\/a><\/li><li><a href=\"#h-looker\" data-level=\"3\">Looker<\/a><\/li><li><a href=\"#h-schemat-przyk-adowej-hurtowni-danych-w-chmurze-google\" data-level=\"3\">Schemat przyk\u0142adowej hurtowni danych w chmurze Google<\/a><\/li><\/ul><\/li><li><a href=\"#h-hurtownia-danych-a-jezioro-danych-dane-z-r-nych-r-de\" data-level=\"2\">Hurtownia danych a jezioro danych &#8211; dane z r\u00f3\u017cnych \u017ar\u00f3de\u0142<\/a><\/li><li><a href=\"#h-dla-kogo-hurtownia-a-dla-kogo-jezioro-danych\" data-level=\"2\">Dla kogo hurtownia, a dla kogo jezioro danych?<\/a><\/li><li><a href=\"#h-nagranie-z-meetupu-biznes-oparty-na-danych-w-chmurze\" data-level=\"2\">Nagranie z meetupu &#8222;Biznes oparty na danych w chmurze&#8221;<\/a><\/li><\/ul><\/div>\n\n\n\n<p>Czy wiesz, jakie dane posiada Twoje przedsi\u0119biorstwo? Jakie \u015blady cyfrowe zostawiaj\u0105 klienci serwisu internetowego? Co znajduje si\u0119 w systemach CRM, firmowych arkuszach kalkulacyjnych, podpi\u0119tych do strony narz\u0119dziach analitycznych?<\/p>\n\n\n\n<p>Zapewne wiesz. Id\u0119 o zak\u0142ad, \u017ce Ty lub Twoi wsp\u00f3\u0142pracownicy monitorujecie te dane, prowadzicie analiz\u0119 i kierujecie si\u0119 liczbami podczas podejmowania decyzji biznesowych. Ale prowadzicie analiz\u0119 oddzielonych od siebie obszar\u00f3w czy patrzycie na dane firmowe jako na pe\u0142n\u0105 zale\u017cno\u015bci ca\u0142o\u015b\u0107?<\/p>\n\n\n\n<p>Przyk\u0142ad. Firma retailowa jest obecna w kilku krajach europejskich. Posiada oddzia\u0142y stacjonarnych, serwis <a href=\"https:\/\/fotc.com\/pl\/blog\/podstawy-ecommerce\/\" class=\"ek-link\">e-commerce<\/a>, klienci mog\u0105 robi\u0107 te\u017c zakupy przez aplikacj\u0119 mobiln\u0105. Firma planuje wej\u015b\u0107 na nowy rynek. Chc\u0105c opracowa\u0107 strategi\u0119 uwzgl\u0119dniaj\u0105c\u0105 akcje, kt\u00f3re sprawdzi\u0142y si\u0119 w innych krajach, dobrze by\u0142oby zestawi\u0107 dane z wielu baz \u2013 mi\u0119dzy innymi informacje o kosztach, sprzeda\u017cy stacjonarnej, sprzeda\u017cy online, dane o prowadzonych kampaniach marketingowych czy reakcjach u\u017cytkownik\u00f3w na akcje promocyjne. Manualna analiza ka\u017cdego elementu z osobna zajmie du\u017co czasu, mo\u017ce te\u017c doprowadzi\u0107 do wyci\u0105gni\u0119cia niew\u0142a\u015bciwych wniosk\u00f3w.<\/p>\n\n\n\n<p>Te dane, pochodz\u0105ce z r\u00f3\u017cnych \u017ar\u00f3de\u0142, mo\u017cna zestawi\u0107 w jednym systemie \u2013 w hurtowni danych, kt\u00f3ra pozwoli przeprowadzi\u0107 analiz\u0119 w ci\u0105gu kilku minut i przedstawi\u0107 wyniki dla u\u017cytkownik\u00f3w biznesowych na czytelnym dashboardzie.<\/p>\n\n\n\n<h2 id=\"h-co-to-jest-data-warehouse\">Co to jest Data Warehouse?<\/h2>\n\n\n\n<p><strong>Data Warehouse (<em>hurtownia danych<\/em>) to system analityczny, kt\u00f3ry umo\u017cliwia prowadzenie kompleksowej analizy danych pochodz\u0105cych z r\u00f3\u017cnych \u017ar\u00f3de\u0142<\/strong>. Wspiera procesy <em>Business Intelligence<\/em>, kt\u00f3re polegaj\u0105 na wydobywaniu spo\u015br\u00f3d danych istotnych informacji potrzebnych do \u015bwiadomego podejmowania decyzji biznesowych. System pobiera dane z r\u00f3\u017cnych baz, oczyszcza i ujednolica. W hurtowni danych przechowywane s\u0105 dane bie\u017c\u0105ce, jak te\u017c dane historyczne. Hurtownia nie ma wp\u0142ywu na funkcjonowanie u\u017cywanych system\u00f3w bazodanowych ani na tre\u015b\u0107 danych \u2013 informacje s\u0105 do warehouse ekstraktowane, a nast\u0119pnie dost\u0119pne tylko do wgl\u0105du (nie mo\u017cna podda\u0107 ich modyfikacji). Dane wykorzystuje si\u0119 do generowania raport\u00f3w czy tworzenia predykcji, a wyniki mo\u017cna przedstawi\u0107 na graficznych wizualizacjach.<\/p>\n\n\n\n<figure class=\"wp-block-image size-full\"><img width=\"1164\" height=\"760\" src=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/google-gif-_1_.webp\" alt=\"hurtownia danych, wizualizacja danych w Lookerze\" class=\"wp-image-62155\"\/><figcaption>Wizualizacja wynik\u00f3w analizy przeprowadzonej w hurtowni danych na interaktywnych panelach na platformie Looker<\/figcaption><\/figure>\n\n\n\n<h2 id=\"h-korzy-ci-dla-firmy-p-yn-ce-z-posiadania-hurtowni-danych\">Korzy\u015bci dla firmy p\u0142yn\u0105ce z posiadania hurtowni danych<\/h2>\n\n\n\n<p><strong>Wgl\u0105d w dane.<\/strong> Spojrzenie na dane z szerszej perspektywy pozwala wyszuka\u0107 zale\u017cno\u015bci pomi\u0119dzy obszarami oraz wytypowa\u0107 trendy dzi\u0119ki analizie danych historycznych. Hurtownia pozwala te\u017c analizowa\u0107 wycinki danych i tworzy\u0107 szczeg\u00f3\u0142owe raporty.<\/p>\n\n\n\n<p><strong>Mo\u017cliwo\u015b\u0107 prognozowania.<\/strong> Hurtowni\u0119 danych mo\u017cna wykorzysta\u0107 jako element systemu DSS (<em>decision support system<\/em>), w kt\u00f3rym prowadzone s\u0105 symulacje scenariuszy biznesowych z wykorzystaniem modeli Machine Learningu.<\/p>\n\n\n\n<p><strong>Centralizacja danych.<\/strong> Hurtownia pozwala zebra\u0107 w jednym miejscu wszystkie dane firmowe, dotychczas rozproszone pomi\u0119dzy wieloma bazami danych, zewn\u0119trznymi systemami czy arkuszami kalkulacyjnymi.&nbsp;<\/p>\n\n\n\n<p><strong>Archiwizacja. <\/strong>W hurtowni danych przechowuje si\u0119 dane najnowsze, jak te\u017c dane historyczne. Wydajny system analizy danych umo\u017cliwia przechowywanie petabajt\u00f3w informacji.<\/p>\n\n\n\n<p><strong>Wydajno\u015b\u0107 pracy.<\/strong> Pracownicy firmy posiadaj\u0105cej hurtowni\u0119 danych maj\u0105 wygodny, niemal natychmiastowy dost\u0119p do aktualnych informacji ze swojego obszaru, jak r\u00f3wnie\u017c z innych dzia\u0142\u00f3w. Skr\u00f3cenie \u015bcie\u017cki dotarcia do informacji i mo\u017cliwo\u015b\u0107 wizualnej prezentacji danych pozwala sprawniej wykonywa\u0107 codzienne zadania oraz wyszukiwa\u0107 mo\u017cliwo\u015bci optymalizacji proces\u00f3w.<\/p>\n\n\n\n<h2 id=\"h-data-warehouse-jak-to-dzia-a-architektura-hurtowni-danych\">Data Warehouse &#8211; jak to dzia\u0142a? Architektura hurtowni danych<\/h2>\n\n\n\n<p>Hurtownia danych sk\u0142ada si\u0119 z czterech element\u00f3w:<\/p>\n\n\n\n<ul><li>\u017ar\u00f3d\u0142a danych,<\/li><li>oprogramowania ELT,<\/li><li>w\u0142a\u015bciwej hurtowni,<\/li><li>aplikacji analitycznych.<\/li><\/ul>\n\n\n\n<figure class=\"wp-block-image size-large\"><img width=\"1024\" height=\"533\" src=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-1024x533.png\" alt=\"schemat budowy hurtowni danych\" class=\"wp-image-62163\" srcset=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-1024x533.png 1024w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-300x156.png 300w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-768x400.png 768w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-1536x800.png 1536w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-2048x1066.png 2048w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-123x64.png 123w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-142x74.png 142w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-336x175.png 336w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-542x282.png 542w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-352x183.png 352w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/schemat-budowy-hurtowni-danych-22x11.png 22w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>W pierwszej kolejno\u015bci dane s\u0105 <strong>pobierane z zewn\u0119trznych \u017ar\u00f3de\u0142<\/strong>. Informacje mog\u0105 by\u0107 pobierane z relacyjnych lub nierelacyjnych baz danych, tematycznych hurtowni danych, Google Analytics, system\u00f3w operacyjnych (takich jak CRM czy ERP) czy firmowych arkuszy kalkulacyjnych.&nbsp;<\/p>\n\n\n\n<p>Nast\u0119pnie s\u0105 <strong>ujednolicane <\/strong>\u2013 przetwarzane, czyszczone, duplikaty usuwane, sprowadzane do tego samego formatu. Takie zintegrowane dane s\u0105 <strong>przesy\u0142ane do w\u0142a\u015bciwej hurtowni<\/strong> \u2013 aplikacji, kt\u00f3ra przechowuje dane i pozwala prowadzi\u0107 analityk\u0119. Ten proces pobierania, przetwarzania i przesy\u0142ania do hurtowni jest nazywany ETL \u2013 od angielskich nazw proces\u00f3w <em>extract<\/em>, <em>transform<\/em>, <em>load<\/em>.<\/p>\n\n\n\n<p>W hurtowni przechowywane s\u0105 ujednolicone dane \u2013 zar\u00f3wno bie\u017c\u0105ce, jak historyczne. To tutaj odbywa si\u0119 <strong>analiza <\/strong>w odpowiedzi na zapytanie przes\u0142ane przez u\u017cytkownika.<\/p>\n\n\n\n<p>Wyniki analizy mog\u0105 zosta\u0107 nast\u0119pnie <strong>przedstawione <\/strong>za pomoc\u0105 program\u00f3w wizualizacji danych lub przes\u0142ane do aplikacji BI.<\/p>\n\n\n\n<h2 id=\"h-bazy-danych-a-hurtownia-danych-oltp-i-olap-systemy-przechowywania-danych\">Bazy danych a hurtownia danych \u2013 OLTP i OLAP \u2013 systemy przechowywania danych  <\/h2>\n\n\n\n<p>Czym r\u00f3\u017cni si\u0119 hurtownia danych od bazy danych? Te oba te koncepty to systemy przechowywania danych, to w praktyce pe\u0142ni\u0105 zupe\u0142nie inne role. W du\u017cym skr\u00f3cie, bazy danych s\u0142u\u017c\u0105 do szybkiego, bie\u017c\u0105cego przetwarzania niewielkich wycink\u00f3w danych, kiedy celem hurtowni jest prowadzenie kompleksowej analityki na podstawie ogromnych zbior\u00f3w informacji.<\/p>\n\n\n\n<h3>OLTP \u2013 on-line transactional processing<\/h3>\n\n\n\n<p>W przypadku baz danych m\u00f3wimy o OLTP (<em>on-line transactional processing<\/em>) \u2013 rodzaju przetwarzania danych, kt\u00f3ry polega na <strong>jednoczesnym wykonywaniu wielu transakcji<\/strong>, na przyk\u0142ad w bankowo\u015bci internetowej, portalach e-commerce czy serwisach rezerwacji online. <a href=\"https:\/\/fotc.com\/pl\/blog\/cloud-sql\/\" class=\"ek-link\">Bazy danych<\/a> posiadaj\u0105 informacje na temat konkretnego wycinka biznesu \u2013 na przyk\u0142ad na temat stanu produkt\u00f3w w sklepie internetowym. Na serwisie e-commerce codziennie zakupy robi\u0105 setki, tysi\u0105ce klient\u00f3w \u2013 a baza danych otrzymuje setki czy tysi\u0105ce zapyta\u0144 i aktualizacji. W bazie danych przechowywane s\u0105 najnowsze informacje, bo jej wydajno\u015b\u0107 znacznie by spad\u0142a, gdyby system mia\u0142 utrzymywa\u0107 terabajty historycznych danych (<a href=\"https:\/\/fotc.com\/pl\/blog\/program-do-backupu\/\" class=\"ek-link\">kopi\u0119 zapasow\u0105 przechowuje si\u0119 w innej lokalizacji<\/a>). \u015arodowiska OLTP dobrze przetwarzaj\u0105 du\u017ce ilo\u015bci prostych zapyta\u0144, ale nie s\u0105 zdolne do prowadzenia g\u0142\u0119bokiej analityki \u2013 s\u0105 za to dobrym \u017ar\u00f3d\u0142em informacji, kt\u00f3re jest w stanie przetworzy\u0107 hurtownia danych.<\/p>\n\n\n\n<p>Przyk\u0142ady zastosowa\u0144 OLTP:<\/p>\n\n\n\n<ul><li>serwis e-commerce tworz\u0105cy zam\u00f3wienie na sprzedany produkt,<\/li><li>portal linii lotniczych prowadz\u0105cy rezerwacj\u0119 online,<\/li><li>system rejestracji pacjenta w szpitalu,<\/li><li>bank dodaj\u0105cy do rachunku transakcj\u0119 wyp\u0142aty got\u00f3wki z bankomatu.<\/li><\/ul>\n\n\n\n<h3>OLAP \u2013 on-line analytical processing<\/h3>\n\n\n\n<p>Hurtownia danych to system analityczny OLAP (<em>on-line analytical processing<\/em>). To \u015brodowisko, kt\u00f3re, w odr\u00f3\u017cnieniu od OLTP, jest dedykowane obs\u0142udze <strong>rzadszych, bardziej rozbudowanych zapyta\u0144 na du\u017cej ilo\u015bci danych<\/strong>. Pr\u0119dko\u015b\u0107 realizacji nie jest a\u017c tak kluczowa, dlatego analiza danych prowadzona w hurtowni mo\u017ce zaj\u0105\u0107 od kilku sekund do nawet kilku godzin. OLAP gromadzi dane z r\u00f3\u017cnych \u017ar\u00f3de\u0142 i przetwarza je podczas procesu ELT. Przechowuje te\u017c dane historyczne w celu prowadzenia kompleksowej analizy i raportowania. Dane, kt\u00f3re trafi\u0105 do hurtowni nie mog\u0105 zosta\u0107 poddane modyfikacji \u2013 s\u0105 dost\u0119pne jedynie do wgl\u0105du.<\/p>\n\n\n\n<p>Przyk\u0142ady zastosowa\u0144 OLAP:<\/p>\n\n\n\n<ul><li>podzia\u0142 klient\u00f3w na grupy z uwzgl\u0119dnieniem dotychczasowych interakcji z firm\u0105 w celu zapewnienia dopasowanych tre\u015bci i promocji,<\/li><li>analiza skuteczno\u015bci dzia\u0142a\u0144 marketingowych w\u015br\u00f3d poszczeg\u00f3lnych grup odbiorc\u00f3w,<\/li><li>przewidywanie prawdopodobie\u0144stwa rezygnacji z us\u0142ug na podstawie danych o sprzeda\u017cy w ostatnich latach,<\/li><li>analiza trend\u00f3w, prognozowanie popytu i poda\u017cy w obszarze dzia\u0142alno\u015bci firmy.<\/li><\/ul>\n\n\n\n<h2 id=\"h-jak-dzia-a-hurtownia-danych-w-chmurze\">Jak dzia\u0142a hurtownia danych w chmurze<\/h2>\n\n\n\n<p>Hurtowni\u0119 danych mo\u017cna zaprojektowa\u0107 i wdro\u017cy\u0107 na w\u0142asnej infrastrukturze, ale mo\u017cna te\u017c w chmurze publicznej, pos\u0142uguj\u0105c si\u0119 zestawem gotowych, skalowalnych i zarz\u0105dzanych us\u0142ug.&nbsp;<\/p>\n\n\n\n<p>Hurtowni\u0119 w chmurze mo\u017cna zbudowa\u0107 jako aplikacj\u0119 niemal bezobs\u0142ugow\u0105, kt\u00f3ra samodzielnie ekstrahuje dane z r\u00f3\u017cnych \u017ar\u00f3de\u0142, ujednolica je i przygotowuje do analizy. Ponadto procesy rezerwowania zasob\u00f3w, skalowania, aktualizacji czy optymalizacji wykonuj\u0105 si\u0119 automatycznie. Nie ma konieczno\u015bci ingerencji u\u017cytkownika, dzi\u0119ki czemu czas, kt\u00f3ry pracownicy po\u015bwi\u0119ciliby na utrzymanie systemu, mog\u0105 po\u015bwi\u0119ci\u0107 na prowadzenie w\u0142a\u015bciwej analizy. Hurtowni\u0119 danych w chmurze mo\u017cna rozbudowa\u0107 te\u017c o us\u0142ugi Machine Learning, by umo\u017cliwi\u0107 prowadzenie predykcji czy symulacji scenariuszy biznesowych.<\/p>\n\n\n\n<h3 id=\"h-dlaczego-warto-przeprowadzi-migracj-hurtowni-danych-na-google-cloud-platform\">Dlaczego warto przeprowadzi\u0107 migracj\u0119 hurtowni danych na Google Cloud Platform?<\/h3>\n\n\n\n<ol><li><strong>Chmura zapewnia wi\u0119ksz\u0105 zwinno\u015b\u0107 i elastyczno\u015b\u0107<\/strong>. Dzisiejsze firmy musz\u0105 szybko dostrzega\u0107 potencjalne zagro\u017cenia czy mo\u017cliwo\u015bci ulepsze\u0144 i wprowadza\u0107 zmiany w okamgnieniu. Musz\u0105 te\u017c zapewni\u0107 pracownikom \u015brodowisko sprzyjaj\u0105ce efektywno\u015bci, gdzie specjali\u015bci mog\u0105 mie\u0107 nieskr\u0119powany dost\u0119p do potrzebnych informacji. Wed\u0142ug obserwacji in\u017cynier\u00f3w Google Cloud, w\u015br\u00f3d wielu firm infrastruktura&nbsp;<em>legacy<\/em>&nbsp;obs\u0142uguj\u0105ca hurtownie danych osi\u0105ga \u015brednio 95-100% pojemno\u015bci, nie zostawiaj\u0105c tym samym przestrzeni na \u017cadne ulepszenia, a wr\u0119cz dodatkowo obci\u0105\u017caj\u0105c zesp\u00f3\u0142 administrator\u00f3w.<\/li><li><strong>Infrastruktura&nbsp;<em>legacy&nbsp;<\/em>wymaga du\u017cych nak\u0142ad\u00f3w pracy, natomiast chmura jest niemal bezobs\u0142ugowa<\/strong>. Jak twierdzi zesp\u00f3\u0142 Google Cloud, firmy, kt\u00f3re posiadaj\u0105 hurtowni\u0119 danych na w\u0142asnej infrastrukturze przeznaczaj\u0105 jedynie ok. 15% czasu na prowadzenie w\u0142a\u015bciwej analizy, poniewa\u017c reszt\u0119 czasu po\u015bwi\u0119caj\u0105 na prace utrzymaniowe. W chmurze prace dotychczas wykonywane manualnie \u2013 ekstrakcja danych, ujednolicenie, rezerwacja zasob\u00f3w, skalowanie, aktualizacje, optymalizacje \u2013 wykonuj\u0105 si\u0119 automatycznie, bez konieczno\u015bci ingerencji pracownika.<\/li><\/ol>\n\n\n\n<figure class=\"wp-block-image\"><img width=\"1024\" height=\"533\" src=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-1024x533.png\" alt=\"hurtownia danych w chmurze a na infrastrukturze lokalnej\" class=\"wp-image-62171\" srcset=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-1024x533.png 1024w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-300x156.png 300w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-768x400.png 768w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-1536x800.png 1536w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-2048x1066.png 2048w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-123x64.png 123w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-142x74.png 142w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-336x175.png 336w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-542x282.png 542w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-352x183.png 352w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/hurtownia-dannych-onprem-vs-w-chmurze-22x11.png 22w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<ol start=\"3\"><li><strong>Koszt chmury w d\u0142u\u017cszym uj\u0119ciu jest ni\u017cszy<\/strong>. Mo\u017ce si\u0119 wydawa\u0107, \u017ce maszyny fizyczne s\u0105 ta\u0144sze od uruchamianych na \u017c\u0105danie us\u0142ug chmurowych; w d\u0142u\u017cszej perspektywie jednak to chmura \u0142\u0105czy si\u0119 z mniejszymi kosztami oraz z wy\u017csz\u0105 wydajno\u015bci\u0105. Pod uwag\u0119 nale\u017cy bra\u0107 nie tylko sam koszt zakupu serwera czy minut\u0119 pracy us\u0142ugi, ale TCO (total cost of ownership), czyli wszystkie koszty zwi\u0105zane z utrzymaniem systemu \u2013 mi\u0119dzy innymi zakup licencji, koszty skalowania czy czas pracy administrator\u00f3w. Wed\u0142ug&nbsp;<a href=\"https:\/\/www.esg-global.com\/hubfs\/pdf\/ESG-Economic-Validation-Migrating-to-Google-BigQuery-for-EDW.pdf?hsCtaTracking=c72c8cf5-f49c-4acc-bc13-8075c2f2c36d%7C58132319-a125-437c-bd19-2dd33e2e3ec9\" target=\"_blank\" rel=\"noreferrer noopener\">bada\u0144 ESG<\/a>&nbsp;organizacje, kt\u00f3re przenosz\u0105 hurtowni\u0119 danych z w\u0142asnej infrastruktury do chmury Google, zyskuj\u0105 do 52% oszcz\u0119dno\u015bci TCO w skali trzech lat. Do braku koszt\u00f3w utrzymania fizycznej infrastruktury czy prowadzenia prac konserwacyjnych mo\u017cna doliczy\u0107 te\u017c zni\u017cki od firmy partnerskiej dostawcy us\u0142ug chmurowych.<a href=\"https:\/\/fotc.com\/pl\/blog\/dlaczego-warto-wspolpracowac-z-partnerem-google\/\"> FOTC, partner Google Cloud \u2013 jednej z wiod\u0105cych chmur publicznych w kwestii zaawansowanej analityki \u2013 oferuje zni\u017cki dla swoich klient\u00f3w oraz mo\u017cliwo\u015b\u0107 pokrycia cz\u0119\u015bci koszt\u00f3w budowy Proof of Concept hurtowni danych w chmurze.<\/a><\/li><li><strong>Hurtownia danych w chmurze zwraca wyniki niemal natychmiast<\/strong>. Kiedy tradycyjne hurtownie danych potrzebuj\u0105 godzin (a niekiedy dni), by wygenerowa\u0107 raport, us\u0142ugi Google Cloud Platform bazuj\u0105 na najnowszych danych i pozwalaj\u0105 \u015bledzi\u0107 zmiany w czasie rzeczywistym. To dlatego, \u017ce dzi\u0119ki mocy obliczeniowej GCP hurtownia danych w chmurze jest w stanie prowadzi\u0107 jednocze\u015bnie wiele akcji \u2013 takich jak przetwarzanie wsadowe, przetwarzanie strumieniowe i obs\u0142uga zapyta\u0144 w\u015br\u00f3d petabajt\u00f3w danych. Na lokalnej infrastrukturze mo\u017cemy napotka\u0107 ograniczenia sprz\u0119towe, co prze\u0142o\u017cy si\u0119 na ni\u017csz\u0105 wydajno\u015b\u0107 i d\u0142u\u017cszy czas zwracania wynik\u00f3w.<\/li><li><strong>Us\u0142ugi chmurowe s\u0105 skalowalne i zapewniaj\u0105 wy\u017csz\u0105 dost\u0119pno\u015b\u0107 ni\u017c infrastruktura on-premise<\/strong>. Poziom u\u017cycia us\u0142ug chmurowych dopasowuje si\u0119 automatycznie do aktualnego obci\u0105\u017cenia. By wygenerowa\u0107 raport roczny, us\u0142ugi analityczne GCP zeskaluj\u0105 si\u0119 w g\u00f3r\u0119, a po zako\u0144czeniu analizy wr\u00f3c\u0105 do normalnego poziomu u\u017cycia (albo nawet do ni\u017cszego, je\u015bli \u017c\u0105da\u0144 do systemu nie b\u0119dzie du\u017co). Skalowalno\u015b\u0107 w ci\u0105gu sekund przek\u0142ada si\u0119 te\u017c na wysok\u0105 dost\u0119pno\u015b\u0107, poniewa\u017c infrastruktura chmurowa przeprowadzi analiz\u0119 bez zaj\u0105kni\u0119cia w sytuacjach, gdy lokalna infrastruktura mog\u0142aby ulec przeci\u0105\u017ceniu. Ponadto dostawcy us\u0142ug chmurowych zobowi\u0105zuj\u0105 si\u0119 do wype\u0142nienia warunk\u00f3w umowy o dost\u0119pno\u015bci us\u0142ug. W przypadku narz\u0119dzi analitycznych Google Cloud Platform SLA wynosi 99,95-99,99%.<\/li><li><strong>Us\u0142ugi hurtowni danych w&nbsp;<a href=\"https:\/\/fotc.com\/pl\/blog\/chmura-google-dostepne-rozwiazania\/\" target=\"_blank\" rel=\"noreferrer noopener\">chmurze Google<\/a>&nbsp;posiadaj\u0105 wbudowane mechanizmy uczenia maszynowego<\/strong>, co umo\u017cliwia relatywnie \u0142atwe i tanie prowadzenie predykcji i symulacji scenariuszy biznesowych. Przedsi\u0119biorstwa korzystaj\u0105ce z lokalnej hurtowni danych, je\u015bli chcia\u0142y prowadzi\u0107 predykcje, do budowy w\u0142asnych modeli ML musia\u0142y delegowa\u0107 analityk\u00f3w i in\u017cynier\u00f3w. Ci nierzadko kopiowali dane i tworzyli odizolowane repozytoria do trenowania modeli, co prowadzi\u0142o do duplikowania i decentralizacji informacji oraz dodatkowo obci\u0105\u017ca\u0142o infrastruktur\u0119. Ponadto, je\u015bli infrastruktura nie by\u0142a wystarczaj\u0105co wydajna, nawet najlepiej zbudowany model uczenia maszynowego nie m\u00f3g\u0142 rozwin\u0105\u0107 w pe\u0142ni swojego potencja\u0142u. Natomiast chmura, nie do\u015b\u0107, \u017ce oferuje du\u017c\u0105 moc obliczeniow\u0105, jej us\u0142ugi analityczne posiadaj\u0105 wbudowane mechanizmy uczenia maszynowego, kt\u00f3rymi mo\u017cna zarz\u0105dza\u0107 z poziomu interfejsu SQL. Dzi\u0119ki temu modele mo\u017cna tworzy\u0107 szybciej, mniejszym nak\u0142adem energii i bez konieczno\u015bci duplikowania danych.<\/li><\/ol>\n\n\n\n<h2 id=\"h-us-ugi-gcp-u-ywane-do-budowy-hurtowni-danych-w-chmurze\">Us\u0142ugi GCP u\u017cywane do budowy hurtowni danych w chmurze<\/h2>\n\n\n\n<p>Na Google Cloud Platform sk\u0142ada si\u0119 niemal 200 gotowych, zarz\u0105dzanych us\u0142ug. W\u015br\u00f3d nich znajduj\u0105 si\u0119 te dedykowane prowadzeniu analizy, jak te\u017c us\u0142ugi og\u00f3lnego przeznaczenia, o kt\u00f3re mo\u017cna rozbudowa\u0107 hurtowni\u0119 danych.<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img width=\"1024\" height=\"501\" src=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-1024x501.jpg\" alt=\"us\u0142ugi analityczne Google Cloud Platform\" class=\"wp-image-64637\" srcset=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-1024x501.jpg 1024w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-300x147.jpg 300w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-768x375.jpg 768w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-123x60.jpg 123w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-142x69.jpg 142w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-352x172.jpg 352w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-542x265.jpg 542w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1-22x11.jpg 22w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/uslugi-analityczne-gcp-1.jpg 1115w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<h3 id=\"h-cloud-storage\">Cloud Storage<\/h3>\n\n\n\n<p><a href=\"https:\/\/fotc.com\/pl\/blog\/gcp-cloud-storage\/\" target=\"_blank\" rel=\"noreferrer noopener\">Cloud Storage<\/a>&nbsp;to us\u0142uga magazynu chmurowego, w kt\u00f3rym mo\u017cna przechowywa\u0107 pliki o dowolny rozszerzeniu \u2013 dokumenty tekstowe, arkusze kalkulacyjne, eksporty z baz danych i inne. Pliki z Cloud Storage mog\u0105 by\u0107 automatycznie pobierane przez us\u0142ugi streamuj\u0105ce, ujednolicane i przesy\u0142ane do hurtowni w celu przeprowadzenia analizy.<\/p>\n\n\n\n<h3 id=\"h-pub-sub\">Pub\/Sub<\/h3>\n\n\n\n<p>Pub\/Sub to us\u0142uga asynchronicznej komunikacji mi\u0119dzy us\u0142ugami Google Cloud Platform. Us\u0142uga cz\u0119sto jest u\u017cywana do integrowania pipeline\u2019\u00f3w pobierania i dystrybuowania danych oraz do strumieniowego przesy\u0142ania analiz.&nbsp;<\/p>\n\n\n\n<h3 id=\"h-dataprep-by-trifacta\">Dataprep by Trifacta<\/h3>\n\n\n\n<p>Inteligentna us\u0142uga do eksplorowania danych ustrukturyzowanych i nieustrukturyzowanych, ich czyszczenia, ujednolicania i przygotowania do analizy lub proces\u00f3w uczenia maszynowego.<\/p>\n\n\n\n<h3 id=\"h-data-catalog\">Data Catalog<\/h3>\n\n\n\n<p>Data Catalog to us\u0142uga automatycznego katalogowania, tagowania i wyszukiwania danych oraz zarz\u0105dzania metadanymi.&nbsp;<\/p>\n\n\n\n<h3 id=\"h-dataflow\">Dataflow<\/h3>\n\n\n\n<p><a href=\"https:\/\/fotc.com\/pl\/blog\/dataflow-elastyczne-przeplywy-danych\/\" target=\"_blank\" aria-label=\"Dataflow (opens in a new tab)\" rel=\"noreferrer noopener\" class=\"ek-link\">Dataflow<\/a> to bezserwerowa us\u0142uga ujednoliconego przetwarzania danych strumieniowych (<em>stream<\/em>) i wsadowych (<em>batch<\/em>). Umo\u017cliwia tworzenie potok\u00f3w (<em>pipelines<\/em>) i przesy\u0142anie danych w czasie rzeczywistym. Us\u0142uga korzysta z open source\u2019owego projektu Apache Beam.<\/p>\n\n\n\n<h3 id=\"h-dataproc\">Dataproc<\/h3>\n\n\n\n<p>Zarz\u0105dzana i skalowalna us\u0142uga do uruchamiania Apache Spark, Apache Flink, Presto oraz ponad 30 innych narz\u0119dzi i framework\u00f3w open source\u2019owych. Poniewa\u017c Apache Spark jest uznawane za najszybsze narz\u0119dzie wspieraj\u0105ce procesy ETL w hurtowni danych, Dataproc zapewnia wysok\u0105 wydajno\u015b\u0107 przesy\u0142u.&nbsp;&nbsp;<\/p>\n\n\n\n<h3 id=\"h-cloud-data-fusion\">Cloud Data Fusion<\/h3>\n\n\n\n<p>Us\u0142uga no-code, kt\u00f3ra z poziomu graficznego interfejsu umo\u017cliwia szybkie i wygodne tworzenie potok\u00f3w danych (<em>data pipelines<\/em>) dla oprogramowania ETL.<\/p>\n\n\n\n<h3 id=\"h-cloud-composer\">Cloud Composer<\/h3>\n\n\n\n<p>Cloud Composer to zarz\u0105dzana us\u0142uga orkiestracji proces\u00f3w workflow zbudowana na open source\u2019owym projekcie Apache Airflow. Pozwala tworzy\u0107, planowa\u0107, monitorowa\u0107 i zarz\u0105dza\u0107 procesami workflow z uwzgl\u0119dnieniem relacji i zale\u017cno\u015bci.&nbsp;<\/p>\n\n\n\n<h3 id=\"h-bigquery\">BigQuery<\/h3>\n\n\n\n<p><a href=\"https:\/\/fotc.com\/pl\/blog\/bigquery-co-to-jest-jak-zaczac-tutorial\/\" target=\"_blank\" rel=\"noreferrer noopener\" class=\"ek-link\">BigQuery<\/a>\u00a0to bezserwerowa us\u0142uga w\u0142a\u015bciwej hurtowni w systemie hurtowni danych. To narz\u0119dzie, w kt\u00f3rym s\u0105 przechowywane tera- czy petabajty ujednoliconych danych i w kt\u00f3rym jest prowadzona analiza.<\/p>\n\n\n\n<h3 id=\"h-cloud-life-sciences\">Cloud Life Sciences<\/h3>\n\n\n\n<p>Cloud Life Sciences (poprzednio Google Geomics) to us\u0142uga analityczna dedykowana naukom przyrodniczym. Pozwala w wydajny, bezpieczny i relatywnie niedrogi spos\u00f3b przetwarza\u0107 dane biomedyczne na du\u017c\u0105 skal\u0119.<\/p>\n\n\n\n<h3 id=\"h-google-data-studio\">Google Data Studio<\/h3>\n\n\n\n<p>Google Data Studio to bezp\u0142atna platforma wizualizacji danych, kt\u00f3ra umo\u017cliwia prezentowanie wynik\u00f3w analizy danych za pomoc\u0105 graficznych dashboard\u00f3w.&nbsp;<\/p>\n\n\n\n<h3 id=\"h-looker\">Looker<\/h3>\n\n\n\n<p>Looker to oprogramowanie business intelligence \u2013 platforma, kt\u00f3ra, obok wizualizacji danych na interaktywnych panelach, wspiera te\u017c prowadzenie analityki predykcyjnej.<\/p>\n\n\n\n<h3 id=\"h-schemat-przyk-adowej-hurtowni-danych-w-chmurze-google\">Schemat przyk\u0142adowej hurtowni danych w chmurze Google<\/h3>\n\n\n\n<p>Ka\u017cdy system w chmurze jest budowany inaczej, w zale\u017cno\u015bci od potrzeb przedsi\u0119biorstwa, celu, ilo\u015bci danych czy plan\u00f3w rozwojowych.&nbsp;<strong>W przeprowadzeniu analizy potrzeb, opracowaniu architektury oraz wdro\u017ceniu hurtowni danych mog\u0105 pom\u00f3c certyfikowani in\u017cynierowie chmurowi&nbsp;<a href=\"https:\/\/fotc.com\/pl\/\">FOTC<\/a><\/strong>.&nbsp;<\/p>\n\n\n\n<figure class=\"wp-block-image\"><img width=\"1024\" height=\"384\" src=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-1024x384.jpg\" alt=\"przyk\u0142adowa struktura hurtowni danych w chmurze Google\" class=\"wp-image-64595\" srcset=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-1024x384.jpg 1024w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-300x113.jpg 300w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-768x288.jpg 768w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-123x46.jpg 123w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-142x53.jpg 142w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-352x132.jpg 352w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-542x203.jpg 542w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google-22x8.jpg 22w, https:\/\/fotc.com\/app\/uploads\/2022\/02\/przyklad-hurtowni-danych-w-chmurze-google.jpg 1509w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n\n\n\n<p>Wy\u017cej znajduje si\u0119 przyk\u0142ad struktury prostej hurtowni danych z u\u017cyciem niekt\u00f3rych opisanych wcze\u015bniej us\u0142ug. Dane \u2013 w tym przypadku z us\u0142ugi bazy danych w chmurze&nbsp;<a href=\"https:\/\/fotc.com\/pl\/blog\/cloud-sql\/\" target=\"_blank\" rel=\"noreferrer noopener\">Cloud SQL<\/a>, z magazynu chmurowego Cloud Storage oraz z zewn\u0119trznego narz\u0119dzia Google Analytics \u2013 s\u0105 przesy\u0142ane do us\u0142ugi Dataprep, gdzie s\u0105 poddawane czyszczeniu i ujednolicaniu. Stamt\u0105d, dzi\u0119ki us\u0142udze Dataflow, dane s\u0105 \u0142adowane do w\u0142a\u015bciwej hurtowni, BigQuery, w kt\u00f3rej jest prowadzona analiza. Wyniki nast\u0119pnie mog\u0105 zosta\u0107 przes\u0142ane na graficzne dashboardy Data Studio lub na platform\u0119 Looker.<\/p>\n\n\n\n<h2 id=\"h-hurtownia-danych-a-jezioro-danych-dane-z-r-nych-r-de\">Hurtownia danych a jezioro danych &#8211; dane z r\u00f3\u017cnych \u017ar\u00f3de\u0142<\/h2>\n\n\n\n<p><strong>Hurtownia danych (data warehouse)<\/strong> jest systemem analitycznym, kt\u00f3ry pozwala interpretowa\u0107 dane z okre\u015blonych \u017ar\u00f3de\u0142, przyk\u0142adowo dzia\u0142\u00f3w w organizacji (HR, CRM czy ERP). Zanim konkretne pliki trafi\u0105 do w\u0142a\u015bciwej us\u0142ugi hurtowni danych s\u0105 porz\u0105dkowane, czyszczone i agregowane za pomoc\u0105 narz\u0119dzi ETL (skr\u00f3t od ang. extract, transform, load). Hurtownia danych przechowuje zar\u00f3wno bie\u017c\u0105ce, jak i archiwalne dane.<\/p>\n\n\n\n<p><strong>Jezioro danych (data lake) <\/strong>to repozytorium, do kt\u00f3rego trafiaj\u0105 surowe dane z r\u00f3\u017cnych \u017ar\u00f3de\u0142 i nie s\u0105 poddawane procesowi porz\u0105dkowania. Nie ma praktycznie \u017cadnych ogranicze\u0144 w zakresie rodzaj\u00f3w przechowywanych w nim informacji. W jeziorze danych mo\u017cna zatem przechowywa\u0107 nieustrukturyzowane dane, kt\u00f3re z r\u00f3\u017cnych wzgl\u0119d\u00f3w nie trafi\u0142y do hurtowni danych (np. dane z aplikacji mobilnych, pliki tekstowe, logi ze stron WWW czy odczyty czujnik\u00f3w IoT).<\/p>\n\n\n\n<h3>Przetwarzanie ETL a ELT<\/h3>\n\n\n\n<p>W hurtowni danych stosuje si\u0119 narz\u0119dzia typu <strong>ETL<\/strong> (Extract, Transform, Load) natomiast w jeziorach danych &#8211; narz\u0119dzia typu <strong>ELT<\/strong> (Extract, Load, Transform). Proces ETL zak\u0142ada najpierw pozyskanie danych ze \u017ar\u00f3d\u0142a (extract), nast\u0119pnie ich przetworzenie (transform), a na ko\u0144cu zapisanie we w\u0142a\u015bciwej hurtowni danych (load).<\/p>\n\n\n\n<p>W procesie ELT dane s\u0105 najpierw pozyskiwane (extract), w kolejnym kroku dochodzi do \u0142adowania danych w jeziorze (load), a dopiero na ko\u0144cu poddaje si\u0119 je przetwarzaniu (transform). Ostatni etap odbywa si\u0119 ju\u017c poza jeziorem danych, w zewn\u0119trznej aplikacji s\u0142u\u017c\u0105cej do zaawansowanej analizy danych.<\/p>\n\n\n\n<h2 id=\"h-dla-kogo-hurtownia-a-dla-kogo-jezioro-danych\">Dla kogo hurtownia, a dla kogo jezioro danych?<\/h2>\n\n\n\n<p>Podstawowa r\u00f3\u017cnica mi\u0119dzy hurtowni\u0105 danych i jeziorem danych sprowadza si\u0119 wi\u0119c do <strong>zakresu przechowywanych danych<\/strong>: pierwsza us\u0142uga gromadzi je wy\u0142\u0105cznie w formie uporz\u0105dkowanej, ograniczaj\u0105c si\u0119 do wybranych \u017ar\u00f3de\u0142. Druga za\u015b mo\u017ce przechowywa\u0107 dane ze wszystkich \u017ar\u00f3de\u0142, niezale\u017cnie od tego czy s\u0105 to informacje posiadaj\u0105ce jak\u0105kolwiek struktur\u0119.<\/p>\n\n\n\n<p>Jezioro danych sprawdzi si\u0119 lepiej, je\u015bli potrzebujesz prowadzi\u0107 bardziej zaawansowane analizy na surowych danych (np. analiz\u0119 statystyczn\u0105 czy modelowanie predykcyjne). Hurtownia danych przyda si\u0119 natomiast lepiej do dzia\u0142a\u0144 operacyjnych, zwi\u0105zanych z bie\u017c\u0105c\u0105 dzia\u0142alno\u015bci\u0105 danej organizacji.<\/p>\n\n\n\n<h2 id=\"h-nagranie-z-meetupu-biznes-oparty-na-danych-w-chmurze\">Nagranie z meetupu &#8222;Biznes oparty na danych w chmurze&#8221;<\/h2>\n\n\n\n<p>Zorganizowali\u015bmy bezp\u0142atne wydarzenie online dla specjalist\u00f3w, kt\u00f3rzy chc\u0105 wykorzysta\u0107 potencja\u0142 danych firmowych \u2013 poprawi\u0107 wyniki biznesowe, wyci\u0105ga\u0107 rzetelne wnioski przy pomocy narz\u0119dzi chmurowych i podejmowa\u0107 \u015bwiadome, poparte liczbami decyzje.<\/p>\n\n\n\n<p>Podczas meetupu praktyczn\u0105 wiedz\u0105 podzielili si\u0119 trzej specjali\u015bci ds. analizy danych:<\/p>\n\n\n\n<ul><li>Stanis\u0142aw Magierski, Customer Engineer w Google Cloud, kt\u00f3ry opowiedzia\u0142, jak wykorzysta\u0107 potencja\u0142 danych, zarz\u0105dza\u0107 nimi i skalowa\u0107 analityk\u0119 biznesow\u0105,<\/li><li>Marcin Kolenda, Chief Analyst w Alterdata.io, podzieli\u0142 si\u0119 do\u015bwiadczeniami z u\u017cycia us\u0142ugi BigQuery ML podczas prelekcji &#8222;Budowa hurtowni danych na GCP \u2013 okiem praktyka&#8221;,<\/li><li>Tomasz Karsznia, Data Engineer w FOTC, zaprezentowa\u0142 spos\u00f3b analizy log\u00f3w przy u\u017cyciu <a href=\"https:\/\/fotc.com\/pl\/blog\/bigquery-co-to-jest-jak-zaczac-tutorial\/\" class=\"ek-link\">BigQuery<\/a> oraz Data Studio na przyk\u0142adzie danych z pakietu aplikacji biznesowych Google Workspace.<\/li><\/ul>\n\n\n\n<p><strong>Nagranie z meetupu mo\u017cna obejrze\u0107 po zapisaniu si\u0119 poprzez formularz na stronie: <\/strong><a href=\"https:\/\/google.fotc.com\/meetup-biznes-oparty-na-danych-w-chmurze\" rel=\"nofollow\" class=\"ek-link\"><strong><em>Biznes oparty na danych w chmurze.<\/em><\/strong><\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Czy wiesz, jakie dane posiada Twoje przedsi\u0119biorstwo? Jakie \u015blady cyfrowe zostawiaj\u0105 klienci serwisu internetowego? Co znajduje si\u0119 w systemach CRM, firmowych arkuszach kalkulacyjnych, podpi\u0119tych do strony narz\u0119dziach analitycznych? Zapewne wiesz. Id\u0119 o zak\u0142ad, \u017ce Ty lub Twoi wsp\u00f3\u0142pracownicy monitorujecie te dane, prowadzicie analiz\u0119 i kierujecie si\u0119 liczbami podczas podejmowania decyzji biznesowych. Ale prowadzicie analiz\u0119 oddzielonych&#8230;<\/p>\n","protected":false},"author":13,"featured_media":62175,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_editorskit_title_hidden":false,"_editorskit_reading_time":11,"_editorskit_typography_data":[],"_editorskit_blocks_typography":"","_editorskit_is_block_options_detached":false,"_editorskit_block_options_position":"{}"},"categories":[560,275],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v16.7 (Yoast SEO v19.6) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Hurtownia danych - czym jest i jak j\u0105 wykorzysta\u0107? - FOTC<\/title>\n<meta name=\"description\" content=\"Jednoczesna analiza danych z wielu \u017ar\u00f3de\u0142 pozwala podejmowa\u0107 lepsze decyzje biznesowe. Dowiedz si\u0119, czym jest i jak dzia\u0142a hurtownia danych.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/\" \/>\n<meta property=\"og:locale\" content=\"pl_PL\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Data Warehouse, czyli hurtownia danych - jak dzia\u0142a i pomaga w biznesie?\" \/>\n<meta property=\"og:description\" content=\"Data Warehouse (hurtownia danych) to system analityczny, kt\u00f3ry umo\u017cliwia prowadzenie kompleksowej analizy danych pochodz\u0105cych z r\u00f3\u017cnych \u017ar\u00f3de\u0142.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/\" \/>\n<meta property=\"og:site_name\" content=\"FOTC\" \/>\n<meta property=\"article:published_time\" content=\"2022-02-07T13:46:58+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-12-22T10:46:27+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/fotc.com\/app\/uploads\/2022\/02\/analiza-danych-firmowych.png\" \/>\n\t<meta property=\"og:image:width\" content=\"2400\" \/>\n\t<meta property=\"og:image:height\" content=\"1256\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Ida O\u017carowska\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:title\" content=\"Data Warehouse, czyli hurtownia danych - jak dzia\u0142a i pomaga w biznesie?\" \/>\n<meta name=\"twitter:description\" content=\"Data Warehouse (hurtownia danych) to system analityczny, kt\u00f3ry umo\u017cliwia prowadzenie kompleksowej analizy danych pochodz\u0105cych z r\u00f3\u017cnych \u017ar\u00f3de\u0142.\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/\",\"url\":\"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/\",\"name\":\"Hurtownia danych - czym jest i jak j\u0105 wykorzysta\u0107? - FOTC\",\"isPartOf\":{\"@id\":\"https:\/\/fotc.com\/#website\"},\"datePublished\":\"2022-02-07T13:46:58+00:00\",\"dateModified\":\"2023-12-22T10:46:27+00:00\",\"author\":{\"@id\":\"https:\/\/fotc.com\/#\/schema\/person\/84a7428ea802a35722a1839225ab0dfb\"},\"description\":\"Jednoczesna analiza danych z wielu \u017ar\u00f3de\u0142 pozwala podejmowa\u0107 lepsze decyzje biznesowe. Dowiedz si\u0119, czym jest i jak dzia\u0142a hurtownia danych.\",\"breadcrumb\":{\"@id\":\"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/#breadcrumb\"},\"inLanguage\":\"pl-PL\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/\"]}],\"accessibilityFeature\":[\"tableOfContents\"]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"PL\",\"item\":\"https:\/\/fotc.com\/pl\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Technologie\",\"item\":\"https:\/\/fotc.com\/pl\/blog\/category\/technologie\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Data Warehouse, czyli hurtownia danych &#8211; jak dzia\u0142a i pomaga w biznesie?\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/fotc.com\/#website\",\"url\":\"https:\/\/fotc.com\/\",\"name\":\"FOTC\",\"description\":\"Partner Google Cloud\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/fotc.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pl-PL\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/fotc.com\/#\/schema\/person\/84a7428ea802a35722a1839225ab0dfb\",\"name\":\"Ida O\u017carowska\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pl-PL\",\"@id\":\"https:\/\/fotc.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/e05ba028ea67bd9a1d51e046729088a9?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/e05ba028ea67bd9a1d51e046729088a9?s=96&d=mm&r=g\",\"caption\":\"Ida O\u017carowska\"},\"description\":\"Ida has a Master's Degree in Communication Management from the University of Wroc\u0142aw. For over 7 years, she has been creating content that connects the worlds of technology and business. At FOTC, she is a Content Manager.\",\"url\":\"https:\/\/fotc.com\/pl\/blog\/author\/ida-ozarowska\/\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Hurtownia danych - czym jest i jak j\u0105 wykorzysta\u0107? - FOTC","description":"Jednoczesna analiza danych z wielu \u017ar\u00f3de\u0142 pozwala podejmowa\u0107 lepsze decyzje biznesowe. Dowiedz si\u0119, czym jest i jak dzia\u0142a hurtownia danych.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/","og_locale":"pl_PL","og_type":"article","og_title":"Data Warehouse, czyli hurtownia danych - jak dzia\u0142a i pomaga w biznesie?","og_description":"Data Warehouse (hurtownia danych) to system analityczny, kt\u00f3ry umo\u017cliwia prowadzenie kompleksowej analizy danych pochodz\u0105cych z r\u00f3\u017cnych \u017ar\u00f3de\u0142.","og_url":"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/","og_site_name":"FOTC","article_published_time":"2022-02-07T13:46:58+00:00","article_modified_time":"2023-12-22T10:46:27+00:00","og_image":[{"width":2400,"height":1256,"url":"https:\/\/fotc.com\/app\/uploads\/2022\/02\/analiza-danych-firmowych.png","type":"image\/png"}],"author":"Ida O\u017carowska","twitter_card":"summary_large_image","twitter_title":"Data Warehouse, czyli hurtownia danych - jak dzia\u0142a i pomaga w biznesie?","twitter_description":"Data Warehouse (hurtownia danych) to system analityczny, kt\u00f3ry umo\u017cliwia prowadzenie kompleksowej analizy danych pochodz\u0105cych z r\u00f3\u017cnych \u017ar\u00f3de\u0142.","schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/","url":"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/","name":"Hurtownia danych - czym jest i jak j\u0105 wykorzysta\u0107? - FOTC","isPartOf":{"@id":"https:\/\/fotc.com\/#website"},"datePublished":"2022-02-07T13:46:58+00:00","dateModified":"2023-12-22T10:46:27+00:00","author":{"@id":"https:\/\/fotc.com\/#\/schema\/person\/84a7428ea802a35722a1839225ab0dfb"},"description":"Jednoczesna analiza danych z wielu \u017ar\u00f3de\u0142 pozwala podejmowa\u0107 lepsze decyzje biznesowe. Dowiedz si\u0119, czym jest i jak dzia\u0142a hurtownia danych.","breadcrumb":{"@id":"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/#breadcrumb"},"inLanguage":"pl-PL","potentialAction":[{"@type":"ReadAction","target":["https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/"]}],"accessibilityFeature":["tableOfContents"]},{"@type":"BreadcrumbList","@id":"https:\/\/fotc.com\/pl\/blog\/hurtownia-danych\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"PL","item":"https:\/\/fotc.com\/pl\/"},{"@type":"ListItem","position":2,"name":"Technologie","item":"https:\/\/fotc.com\/pl\/blog\/category\/technologie\/"},{"@type":"ListItem","position":3,"name":"Data Warehouse, czyli hurtownia danych &#8211; jak dzia\u0142a i pomaga w biznesie?"}]},{"@type":"WebSite","@id":"https:\/\/fotc.com\/#website","url":"https:\/\/fotc.com\/","name":"FOTC","description":"Partner Google Cloud","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/fotc.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"pl-PL"},{"@type":"Person","@id":"https:\/\/fotc.com\/#\/schema\/person\/84a7428ea802a35722a1839225ab0dfb","name":"Ida O\u017carowska","image":{"@type":"ImageObject","inLanguage":"pl-PL","@id":"https:\/\/fotc.com\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/e05ba028ea67bd9a1d51e046729088a9?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/e05ba028ea67bd9a1d51e046729088a9?s=96&d=mm&r=g","caption":"Ida O\u017carowska"},"description":"Ida has a Master's Degree in Communication Management from the University of Wroc\u0142aw. For over 7 years, she has been creating content that connects the worlds of technology and business. At FOTC, she is a Content Manager.","url":"https:\/\/fotc.com\/pl\/blog\/author\/ida-ozarowska\/"}]}},"_links":{"self":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/posts\/62151"}],"collection":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/users\/13"}],"replies":[{"embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/comments?post=62151"}],"version-history":[{"count":0,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/posts\/62151\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/media\/62175"}],"wp:attachment":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/media?parent=62151"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/categories?post=62151"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/tags?post=62151"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}