{"id":126906,"date":"2023-10-05T17:32:00","date_gmt":"2023-10-05T15:32:00","guid":{"rendered":"https:\/\/fotc.com\/?p=126906"},"modified":"2023-10-09T06:20:59","modified_gmt":"2023-10-09T04:20:59","slug":"dataflow","status":"publish","type":"post","link":"https:\/\/fotc.com\/pl\/blog\/dataflow\/","title":{"rendered":"Obni\u017canie koszt\u00f3w z Dataflow"},"content":{"rendered":"\n

Dataflow jest w pe\u0142ni zarz\u0105dzan\u0105 us\u0142ug\u0105 analizy przesy\u0142ania strumieniowego minimalizuj\u0105ca op\u00f3\u017anienia czas przetwarzania oraz koszty. Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie?<\/p>\n\n\n\n

Generowane w czasie rzeczywistym dane pochodz\u0105 z wielu r\u00f3\u017cnych \u017ar\u00f3de\u0142. Ich przechwytywanie, przetwarzanie i analizowanie nie nale\u017cy do naj\u0142atwiejszych zada\u0144. Dzieje si\u0119 tak gdy\u017c nie zawsze s\u0105 one w pasuj\u0105cym nam formacie. Rozwi\u0105zaniem jest w\u0142a\u015bnie Dataflow, czyli szybka bezserwerowa us\u0142uga Google Cloud<\/a> eliminuj\u0105ca obci\u0105\u017cenie operacyjne (operational overhead) poprzez automatyzacj\u0119 udost\u0119pnienia infrastruktury i automatyczne skalowanie w miar\u0119 przyrostu ilo\u015bci danych.<\/p>\n\n\n\n

Jak dzia\u0142a Dataflow?<\/h2>\n\n\n\n

Korzystanie z Dataflow jest proste. Po odczytaniu danych \u017ar\u00f3d\u0142owych nast\u0119puje ich przekszta\u0142cenie i ponowne zapisanie. Potok przetwarzania (processing pipeline), utworzony przy u\u017cyciu open sourcowej biblioteki Apache Beam w wybranym przez ciebie j\u0119zyku programowania, procesowany jest jako zadanie Dataflow na wirtualnych maszynach roboczych.<\/p>\n\n\n\n

Dataflow mo\u017cesz uruchomi\u0107 za po\u015brednictwem interfejsu Cloud Console, interfejsu wiersza polecenia gCloud lub te\u017c interfejs\u00f3w API. Do wyboru s\u0105 zar\u00f3wno gotowe, w tym r\u00f3wnie\u017c niestandardowe szablony. Mo\u017cliwe jest te\u017c pisanie instrukcji SQL albo tworzenie potok\u00f3w bezpo\u015brednio z BigQuery UI lub AI Platform Notebooks. <\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Bezpiecze\u0144stwo Dataflow<\/h2>\n\n\n\n

Wszystkie dane s\u0105 szyfrowane zar\u00f3wno w stanie spoczynku oraz podczas przesy\u0142ania. Opcj\u0105 jest te\u017c korzystanie z kluczy szyfruj\u0105cych zarz\u0105dzanych przez klienta. Zabezpieczenie \u015brodowiska jest te\u017c mo\u017cliwe z wykorzystaniem prywatnych adres\u00f3w IP i kontroli us\u0142ug VPC.  Sprawia to, \u017ce Dataflow idealnie nadaje si\u0119 do zastosowa\u0144 zwi\u0105zanych ze sztuczn\u0105 inteligencj\u0105 stosowan\u0105 w czasie rzeczywistym, hurtowniach danych lub analizie strumieniowej.<\/p>\n\n\n

\r\n
\r\n
\r\n
\r\n Jak zmniejszy\u0107 koszty z Dataflow?<\/span>\r\n <\/div>\r\n
\r\n \r\n <\/div>\r\n <\/div>\r\n
\r\n

Porozmawiaj z architektem Google Cloud i zoptymalizuj koszty dzi\u0119ki Dataflow.<\/p><\/div>\r\n

\r\n Napisz do nas<\/a>\r\n \r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n<\/div>\n\n\n

Kluczowe funkcje Dataflow<\/h2>\n\n\n\n

Gotowo\u015b\u0107 do u\u017cycia sztucznej inteligencji czasu rzeczywistego (real-time AI)<\/h3>\n\n\n\n

W\u0142a\u015bnie rozwi\u0105zania zwi\u0105zane ze sztuczn\u0105 inteligencj\u0105 przyci\u0105gaj\u0105 u\u017cytkownik\u00f3w Dataflow, w tym gotowe do u\u017cycia funkcje uczenia maszynowego, takie jak NVIDIA GPU. Mo\u017cesz trenowa\u0107, wdra\u017ca\u0107 i zarz\u0105dza\u0107 kompletnymi potokami uczenia maszynowego.<\/p>\n\n\n\n

Autoskalowanie zasob\u00f3w i dynamiczne r\u00f3wnowa\u017cenie pracy (work rebalancing)<\/h3>\n\n\n\n

Mo\u017cesz zminimalizowa\u0107 op\u00f3\u017anienia potoku przy jednoczesnym maksymalizowaniu wykorzystania zasob\u00f3w. Wp\u0142ywa to na zmniejszenie koszt\u00f3w przetwarzania dzi\u0119ki automatycznemu skalowaniu zasob\u00f3w. Dane wej\u015bciowe s\u0105 automatycznie partycjonowane i stale ponownie r\u00f3wnowa\u017cone. <\/p>\n\n\n\n

Autoskalowanie mo\u017cliwe jest zar\u00f3wno wertykalnie jak i horyzontalnie. W tym pierwszym przypadku Dataflow dynamicznie dostosowuje moc obliczeniow\u0105 przydzielon\u0105 ka\u017cdemu procesowi na podstawie wykorzystania. Tymczasem automatyczne skalowanie w poziomie umo\u017cliwia wyb\u00f3r odpowiedniej liczby instancji roboczych wymaganych do uruchomienia zadania. <\/p>\n\n\n\n

Monitorowanie i obserwowalno\u015b\u0107<\/h3>\n\n\n\n

Obserwuj dane na ka\u017cdym etapie potoku Dataflow. Mo\u017cesz diagnozowa\u0107 problemy i skutecznie je rozwi\u0105zywa\u0107 korzystaj\u0105c z pr\u00f3bek rzeczywistych danych. <\/p>\n\n\n\n

Dataflow ML<\/h3>\n\n\n\n

Dzi\u0119ki Dataflow mo\u017cesz z \u0142atwo\u015bci\u0105 wdra\u017ca\u0107 i zarz\u0105dza\u0107 potokami uczenia maszynowego oraz u\u017cywa\u0107 modeli uczenia maszynowego do wnioskowania lokalnego i zdalnego (remote) za pomoc\u0105 potok\u00f3w wsadowych i strumieniowych. <\/p>\n\n\n\n

Right fitting<\/h3>\n\n\n\n

Sposobem na ograniczenie marnotrawstwa zasob\u00f3w jest right-fitting tworz\u0105cy specyficzne dla danego etapu, zoptymalizowane pule zasob\u00f3w.<\/p>\n\n\n\n

Inteligentna diagnostyka<\/h3>\n\n\n\n

W ramach inteligentnej diagnostyki dost\u0119pny jest zestaw funkcji obejmuj\u0105cy zarz\u0105dzanie potokiem danych w oparciu o SLO, daj\u0105cy mo\u017cliwo\u015b\u0107 wizualizacji zada\u0144 zapewniaj\u0105cych u\u017cytkownikowi wizualny spos\u00f3b ich weryfikacji i pozwalaj\u0105cy zidentyfikowa\u0107 w\u0105skie gard\u0142a. Automatyczne rekomendacje umo\u017cliwiaj\u0105 dostrojenie problem\u00f3w zwi\u0105zanych z wydajno\u015bci\u0105 i dost\u0119pno\u015bci\u0105.<\/p>\n\n\n\n

Dataflow w praktyce, czyli oszcz\u0119dno\u015bci Renault<\/h2>\n\n\n\n

Renault w swojej drodze do standardu Industry 4.0 rozpocz\u0119\u0142o wdra\u017canie system\u00f3w zarz\u0105dzania rozproszonymi danymi. Pocz\u0105tkowym celem by\u0142a poprawa wydajno\u015bci operacyjnej firmy, ale z czasem konieczne by\u0142o narz\u0119dzie do kontekstualizacji, przetwarzania i hostingu wszystkich potrzebnych danych. Renault poszukiwa\u0142o skalowalnej platformy, mo\u017cliwej do wdro\u017cenia szeroko, w obszarze ca\u0142ej dzia\u0142alno\u015bci. Wyb\u00f3r pad\u0142 na Google Cloud oraz m.in. us\u0142ug\u0119 Dataflow. <\/p>\n\n\n\n

Od momentu wdro\u017cenia, Dataflow sta\u0142o si\u0119 podstawowym narz\u0119dziem obs\u0142uguj\u0105cym wi\u0119kszo\u015b\u0107 potrzeb zwi\u0105zanych z przetwarzaniem danych na platformie Google Cloud. Renault wykorzystuje obecnie Dataflow do pozyskiwania i przekszta\u0142cania danych z zak\u0142ad\u00f3w produkcyjnych oraz innych kluczowych baz danych. <\/p>\n\n\n\n

Ile kosztuje Dataflow?<\/h2>\n\n\n\n

Podobnie jak wi\u0119kszo\u015b\u0107 us\u0142ug chmurowych Google Cloud, u\u017cycie Dataflow rozliczane jest zgodnie z naliczaniem sekundowym na podstawie rzeczywistego wykorzystania proces\u00f3w wsadowych lub strumieniowych. Poniewa\u017c us\u0142uga ta wsp\u00f3\u0142pracuje z innymi rozwi\u0105zaniami takimi jak Cloud Storage czy Pub\/Sub, w celu oszacowania \u0142\u0105cznych koszt\u00f3w warto um\u00f3wi\u0107 si\u0119 na konsultacj\u0119 z ekspertem FOTC<\/a>, certyfikowanym architektem Google Cloud oraz poka\u017ce jak w praktyce najlepiej korzysta\u0107 z tego rozwi\u0105zania. <\/p>\n","protected":false},"excerpt":{"rendered":"

Dataflow jest w pe\u0142ni zarz\u0105dzan\u0105 us\u0142ug\u0105 analizy przesy\u0142ania strumieniowego minimalizuj\u0105ca op\u00f3\u017anienia czas przetwarzania oraz koszty. Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie? Generowane w czasie rzeczywistym dane pochodz\u0105 z wielu r\u00f3\u017cnych \u017ar\u00f3de\u0142. Ich przechwytywanie, przetwarzanie i analizowanie nie nale\u017cy do naj\u0142atwiejszych zada\u0144. Dzieje si\u0119 tak gdy\u017c nie zawsze s\u0105 one w pasuj\u0105cym…<\/p>\n","protected":false},"author":26,"featured_media":126907,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_editorskit_title_hidden":false,"_editorskit_reading_time":0,"_editorskit_typography_data":[],"_editorskit_blocks_typography":"","_editorskit_is_block_options_detached":false,"_editorskit_block_options_position":"{}"},"categories":[560],"tags":[],"yoast_head":"\nObni\u017canie koszt\u00f3w z Dataflow - FOTC<\/title>\n<meta name=\"description\" content=\"Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie? Szukasz narz\u0119dzia do analizy przesy\u0142ania strumieniowego danych?\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/fotc.com\/pl\/blog\/dataflow\/\" \/>\n<meta property=\"og:locale\" content=\"pl_PL\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Obni\u017canie koszt\u00f3w z Dataflow\" \/>\n<meta property=\"og:description\" content=\"Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie? Szukasz narz\u0119dzia do analizy przesy\u0142ania strumieniowego danych?\" \/>\n<meta property=\"og:url\" content=\"https:\/\/fotc.com\/pl\/blog\/dataflow\/\" \/>\n<meta property=\"og:site_name\" content=\"FOTC\" \/>\n<meta property=\"article:published_time\" content=\"2023-10-05T15:32:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-09T04:20:59+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/fotc.com\/app\/uploads\/2023\/10\/BLOG_GCP_PL-45.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t<meta property=\"og:image:height\" content=\"628\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Micha\u0142 Krzak\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/fotc.com\/pl\/blog\/dataflow\/\",\"url\":\"https:\/\/fotc.com\/pl\/blog\/dataflow\/\",\"name\":\"Obni\u017canie koszt\u00f3w z Dataflow - FOTC\",\"isPartOf\":{\"@id\":\"https:\/\/fotc.com\/#website\"},\"datePublished\":\"2023-10-05T15:32:00+00:00\",\"dateModified\":\"2023-10-09T04:20:59+00:00\",\"author\":{\"@id\":\"https:\/\/fotc.com\/#\/schema\/person\/8804ea9f08fae06c18c12d0163af3691\"},\"description\":\"Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie? Szukasz narz\u0119dzia do analizy przesy\u0142ania strumieniowego danych?\",\"breadcrumb\":{\"@id\":\"https:\/\/fotc.com\/pl\/blog\/dataflow\/#breadcrumb\"},\"inLanguage\":\"pl-PL\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/fotc.com\/pl\/blog\/dataflow\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/fotc.com\/pl\/blog\/dataflow\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"PL\",\"item\":\"https:\/\/fotc.com\/pl\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Google Cloud\",\"item\":\"https:\/\/fotc.com\/pl\/blog\/category\/google-cloud-platform-pl\/\"},{\"@type\":\"ListItem\",\"position\":3,\"name\":\"Obni\u017canie koszt\u00f3w z Dataflow\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/fotc.com\/#website\",\"url\":\"https:\/\/fotc.com\/\",\"name\":\"FOTC\",\"description\":\"Partner Google Cloud\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/fotc.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pl-PL\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/fotc.com\/#\/schema\/person\/8804ea9f08fae06c18c12d0163af3691\",\"name\":\"Micha\u0142 Krzak\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pl-PL\",\"@id\":\"https:\/\/fotc.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/cb052d2519758d2585eee1abaf8ab5ed?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/cb052d2519758d2585eee1abaf8ab5ed?s=96&d=mm&r=g\",\"caption\":\"Micha\u0142 Krzak\"},\"description\":\"Copywriter, dziennikarz, content marketer. Od 2005 roku tworzy artyku\u0142y , teksty blogowe i raporty dla bran\u017cy nowoczesnych technologii, druku 3D oraz logistyki.\",\"url\":\"https:\/\/fotc.com\/pl\/blog\/author\/michal-krzak\/\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Obni\u017canie koszt\u00f3w z Dataflow - FOTC","description":"Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie? Szukasz narz\u0119dzia do analizy przesy\u0142ania strumieniowego danych?","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/fotc.com\/pl\/blog\/dataflow\/","og_locale":"pl_PL","og_type":"article","og_title":"Obni\u017canie koszt\u00f3w z Dataflow","og_description":"Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie? Szukasz narz\u0119dzia do analizy przesy\u0142ania strumieniowego danych?","og_url":"https:\/\/fotc.com\/pl\/blog\/dataflow\/","og_site_name":"FOTC","article_published_time":"2023-10-05T15:32:00+00:00","article_modified_time":"2023-10-09T04:20:59+00:00","og_image":[{"width":1200,"height":628,"url":"https:\/\/fotc.com\/app\/uploads\/2023\/10\/BLOG_GCP_PL-45.png","type":"image\/png"}],"author":"Micha\u0142 Krzak","twitter_card":"summary_large_image","schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/fotc.com\/pl\/blog\/dataflow\/","url":"https:\/\/fotc.com\/pl\/blog\/dataflow\/","name":"Obni\u017canie koszt\u00f3w z Dataflow - FOTC","isPartOf":{"@id":"https:\/\/fotc.com\/#website"},"datePublished":"2023-10-05T15:32:00+00:00","dateModified":"2023-10-09T04:20:59+00:00","author":{"@id":"https:\/\/fotc.com\/#\/schema\/person\/8804ea9f08fae06c18c12d0163af3691"},"description":"Czym jest Dataflow i jak mo\u017cesz wykorzysta\u0107 w swoim projekcie? Szukasz narz\u0119dzia do analizy przesy\u0142ania strumieniowego danych?","breadcrumb":{"@id":"https:\/\/fotc.com\/pl\/blog\/dataflow\/#breadcrumb"},"inLanguage":"pl-PL","potentialAction":[{"@type":"ReadAction","target":["https:\/\/fotc.com\/pl\/blog\/dataflow\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/fotc.com\/pl\/blog\/dataflow\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"PL","item":"https:\/\/fotc.com\/pl\/"},{"@type":"ListItem","position":2,"name":"Google Cloud","item":"https:\/\/fotc.com\/pl\/blog\/category\/google-cloud-platform-pl\/"},{"@type":"ListItem","position":3,"name":"Obni\u017canie koszt\u00f3w z Dataflow"}]},{"@type":"WebSite","@id":"https:\/\/fotc.com\/#website","url":"https:\/\/fotc.com\/","name":"FOTC","description":"Partner Google Cloud","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/fotc.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"pl-PL"},{"@type":"Person","@id":"https:\/\/fotc.com\/#\/schema\/person\/8804ea9f08fae06c18c12d0163af3691","name":"Micha\u0142 Krzak","image":{"@type":"ImageObject","inLanguage":"pl-PL","@id":"https:\/\/fotc.com\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/cb052d2519758d2585eee1abaf8ab5ed?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/cb052d2519758d2585eee1abaf8ab5ed?s=96&d=mm&r=g","caption":"Micha\u0142 Krzak"},"description":"Copywriter, dziennikarz, content marketer. Od 2005 roku tworzy artyku\u0142y , teksty blogowe i raporty dla bran\u017cy nowoczesnych technologii, druku 3D oraz logistyki.","url":"https:\/\/fotc.com\/pl\/blog\/author\/michal-krzak\/"}]}},"_links":{"self":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/posts\/126906"}],"collection":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/users\/26"}],"replies":[{"embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/comments?post=126906"}],"version-history":[{"count":0,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/posts\/126906\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/media\/126907"}],"wp:attachment":[{"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/media?parent=126906"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/categories?post=126906"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/fotc.com\/pl\/wp-json\/wp\/v2\/tags?post=126906"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}