Jak dzia\u0142a Dataflow?<\/h2>\n\n\n\n
Korzystanie z Dataflow jest proste. Po odczytaniu danych \u017ar\u00f3d\u0142owych nast\u0119puje ich przekszta\u0142cenie i ponowne zapisanie. Potok przetwarzania (processing pipeline), utworzony przy u\u017cyciu open sourcowej biblioteki Apache Beam w wybranym przez ciebie j\u0119zyku programowania, procesowany jest jako zadanie Dataflow na wirtualnych maszynach roboczych.<\/p>\n\n\n\n
Dataflow mo\u017cesz uruchomi\u0107 za po\u015brednictwem interfejsu Cloud Console, interfejsu wiersza polecenia gCloud lub te\u017c interfejs\u00f3w API. Do wyboru s\u0105 zar\u00f3wno gotowe, w tym r\u00f3wnie\u017c niestandardowe szablony. Mo\u017cliwe jest te\u017c pisanie instrukcji SQL albo tworzenie potok\u00f3w bezpo\u015brednio z BigQuery UI lub AI Platform Notebooks. <\/p>\n\n\n\n Wszystkie dane s\u0105 szyfrowane zar\u00f3wno w stanie spoczynku oraz podczas przesy\u0142ania. Opcj\u0105 jest te\u017c korzystanie z kluczy szyfruj\u0105cych zarz\u0105dzanych przez klienta. Zabezpieczenie \u015brodowiska jest te\u017c mo\u017cliwe z wykorzystaniem prywatnych adres\u00f3w IP i kontroli us\u0142ug VPC. Sprawia to, \u017ce Dataflow idealnie nadaje si\u0119 do zastosowa\u0144 zwi\u0105zanych ze sztuczn\u0105 inteligencj\u0105 stosowan\u0105 w czasie rzeczywistym, hurtowniach danych lub analizie strumieniowej.<\/p>\n\n\n Porozmawiaj z architektem Google Cloud i zoptymalizuj koszty dzi\u0119ki Dataflow.<\/p><\/div>\r\n W\u0142a\u015bnie rozwi\u0105zania zwi\u0105zane ze sztuczn\u0105 inteligencj\u0105 przyci\u0105gaj\u0105 u\u017cytkownik\u00f3w Dataflow, w tym gotowe do u\u017cycia funkcje uczenia maszynowego, takie jak NVIDIA GPU. Mo\u017cesz trenowa\u0107, wdra\u017ca\u0107 i zarz\u0105dza\u0107 kompletnymi potokami uczenia maszynowego.<\/p>\n\n\n\n Mo\u017cesz zminimalizowa\u0107 op\u00f3\u017anienia potoku przy jednoczesnym maksymalizowaniu wykorzystania zasob\u00f3w. Wp\u0142ywa to na zmniejszenie koszt\u00f3w przetwarzania dzi\u0119ki automatycznemu skalowaniu zasob\u00f3w. Dane wej\u015bciowe s\u0105 automatycznie partycjonowane i stale ponownie r\u00f3wnowa\u017cone. <\/p>\n\n\n\n Autoskalowanie mo\u017cliwe jest zar\u00f3wno wertykalnie jak i horyzontalnie. W tym pierwszym przypadku Dataflow dynamicznie dostosowuje moc obliczeniow\u0105 przydzielon\u0105 ka\u017cdemu procesowi na podstawie wykorzystania. Tymczasem automatyczne skalowanie w poziomie umo\u017cliwia wyb\u00f3r odpowiedniej liczby instancji roboczych wymaganych do uruchomienia zadania. <\/p>\n\n\n\n Obserwuj dane na ka\u017cdym etapie potoku Dataflow. Mo\u017cesz diagnozowa\u0107 problemy i skutecznie je rozwi\u0105zywa\u0107 korzystaj\u0105c z pr\u00f3bek rzeczywistych danych. <\/p>\n\n\n\n Dzi\u0119ki Dataflow mo\u017cesz z \u0142atwo\u015bci\u0105 wdra\u017ca\u0107 i zarz\u0105dza\u0107 potokami uczenia maszynowego oraz u\u017cywa\u0107 modeli uczenia maszynowego do wnioskowania lokalnego i zdalnego (remote) za pomoc\u0105 potok\u00f3w wsadowych i strumieniowych. <\/p>\n\n\n\n Sposobem na ograniczenie marnotrawstwa zasob\u00f3w jest right-fitting tworz\u0105cy specyficzne dla danego etapu, zoptymalizowane pule zasob\u00f3w.<\/p>\n\n\n\n W ramach inteligentnej diagnostyki dost\u0119pny jest zestaw funkcji obejmuj\u0105cy zarz\u0105dzanie potokiem danych w oparciu o SLO, daj\u0105cy mo\u017cliwo\u015b\u0107 wizualizacji zada\u0144 zapewniaj\u0105cych u\u017cytkownikowi wizualny spos\u00f3b ich weryfikacji i pozwalaj\u0105cy zidentyfikowa\u0107 w\u0105skie gard\u0142a. Automatyczne rekomendacje umo\u017cliwiaj\u0105 dostrojenie problem\u00f3w zwi\u0105zanych z wydajno\u015bci\u0105 i dost\u0119pno\u015bci\u0105.<\/p>\n\n\n\n Renault w swojej drodze do standardu Industry 4.0 rozpocz\u0119\u0142o wdra\u017canie system\u00f3w zarz\u0105dzania rozproszonymi danymi. Pocz\u0105tkowym celem by\u0142a poprawa wydajno\u015bci operacyjnej firmy, ale z czasem konieczne by\u0142o narz\u0119dzie do kontekstualizacji, przetwarzania i hostingu wszystkich potrzebnych danych. Renault poszukiwa\u0142o skalowalnej platformy, mo\u017cliwej do wdro\u017cenia szeroko, w obszarze ca\u0142ej dzia\u0142alno\u015bci. Wyb\u00f3r pad\u0142 na Google Cloud oraz m.in. us\u0142ug\u0119 Dataflow. <\/p>\n\n\n\n Od momentu wdro\u017cenia, Dataflow sta\u0142o si\u0119 podstawowym narz\u0119dziem obs\u0142uguj\u0105cym wi\u0119kszo\u015b\u0107 potrzeb zwi\u0105zanych z przetwarzaniem danych na platformie Google Cloud. Renault wykorzystuje obecnie Dataflow do pozyskiwania i przekszta\u0142cania danych z zak\u0142ad\u00f3w produkcyjnych oraz innych kluczowych baz danych. <\/p>\n\n\n\n Podobnie jak wi\u0119kszo\u015b\u0107 us\u0142ug chmurowych Google Cloud, u\u017cycie Dataflow rozliczane jest zgodnie z naliczaniem sekundowym na podstawie rzeczywistego wykorzystania proces\u00f3w wsadowych lub strumieniowych. Poniewa\u017c us\u0142uga ta wsp\u00f3\u0142pracuje z innymi rozwi\u0105zaniami takimi jak Cloud Storage czy Pub\/Sub, w celu oszacowania \u0142\u0105cznych koszt\u00f3w warto um\u00f3wi\u0107 si\u0119 na konsultacj\u0119 z ekspertem FOTC<\/a>, certyfikowanym architektem Google Cloud oraz poka\u017ce jak w praktyce najlepiej korzysta\u0107 z tego rozwi\u0105zania. <\/p>\n","protected":false},"excerpt":{"rendered":"![\"\"\/](\"https:\/\/lh5.googleusercontent.com\/XiPx7qGjqQXHAbDf48PkDLN7dgs_wP8aoEw9I-PCJMPrSd4iqQA9vCEyxCnuNuCVIcjZnM0Dznb9gLgVXr32nvX1W-hObgpyWPra_MkgurCHql4fBnb1ei9HUuqAXOJM95HitqHQoaZIcTjSlMUY_10\")
Bezpiecze\u0144stwo Dataflow<\/h2>\n\n\n\n
![](\"\/app\/uploads\/2023\/02\/FOTC-LOGO-WWW-RGB-RED-2.png\"){kind=logo}
\r\n <\/div>\r\n <\/div>\r\n Kluczowe funkcje Dataflow<\/h2>\n\n\n\n
Gotowo\u015b\u0107 do u\u017cycia sztucznej inteligencji czasu rzeczywistego (real-time AI)<\/h3>\n\n\n\n
Autoskalowanie zasob\u00f3w i dynamiczne r\u00f3wnowa\u017cenie pracy (work rebalancing)<\/h3>\n\n\n\n
Monitorowanie i obserwowalno\u015b\u0107<\/h3>\n\n\n\n
Dataflow ML<\/h3>\n\n\n\n
Right fitting<\/h3>\n\n\n\n
Inteligentna diagnostyka<\/h3>\n\n\n\n
Dataflow w praktyce, czyli oszcz\u0119dno\u015bci Renault<\/h2>\n\n\n\n
Ile kosztuje Dataflow?<\/h2>\n\n\n\n