09.2023 | Google Cloud | BigQuery | Vertex AI
W dniach 29-31 sierpnia 2023 miała miejsce konferencja Google Cloud Next’23. Jest to konferencja poświęcona jednemu z najważniejszych produktów Google, czyli chmurze. Aczkolwiek słowo "produkt" może jest tu niewłaściwe, bowiem Google Cloud to szeroki zbiór usług, które usprawnią pracę nie tylko developera, ale i Analityka Danych.
Prześledźmy zatem, jakie najważniejsze nowości dla Analityka Danych, zaprezentował Google.
Platforma analityczna (serverless data warehouse), która ma ułatwić proces analizy danych zgromadzonych w BigQuery. Jest to możliwe poprzez włączenie nie tylko SQL-a, ale i Pythona. Notebooki z napisanym kodem mogą być następnie wykorzystywane w usłudze Vertex AI, która wnosi znacznie większe możliwości jeżeli chodzi o budowę modeli, predykcję etc.
W wersji preview, zaprezentowano funkcjonalność BigQuery DataFrames.
Funkcjonalność ta umożliwia tworzenie i manipulowanie obiektami DataFrame w BigQuery, za pomocą języka Python. Dzięki temu można wykonywać operacje na danych w BigQuery, korzystając z interfejsu podobnego do tego, który oferuje biblioteka pandas. Wszystkie obliczenia są wykonywane w silniku zapytań BigQuery, co pozwala na szybkie przetwarzanie dużych zbiorów danych.
Oprócz BigQuery DataFrames, zaprezentowano również Data Clean Rooms, które także są dostępne w wersji preview.
Funkcjonalność ta umożliwia bezpieczne i poufne współdzielenie danych między różnymi organizacjami. Dane są przechowywane w izolowanych instancjach BigQuery, a dostęp do nich jest kontrolowany za pomocą ról i uprawnień.
Dodatkowe informacje:
⇒ Overview of BigQuery Data Studio
Duet AI to produkt typu “Asystent AI", wspierające tworzenie zapytań SQL oraz kodu Pythona na platformie BigQuery Studio.
Wykorzystując asystenta możemy np. szybko wykonać segmentację klientów, co przedstawia poniższy przykład video:
⇒ Wykorzystanie Duet AI, w środowisku BigQuery Studio, do utworzenia segmentów klienckich:
Duet AI jest produktem samodzielnym, który będzie wspierał nie tylko nasze działania w BigQuery. Warto więc zobaczyć poniższy opis, która pokazuje generalne możliwości Duet AI.
⇒ Duet AI w ramach usług Google CloudNowy asystent AI trafi również do rodziny produktów Looker (analiza i wizualizacja danych) i pomoże nam w takich czynnościach jak np.
Otrzymamy zatem personalnego asystenta, który pomoże nam w pracach, zarówno związanych z “wyklikiwaniem" wykresów, jak i kodowaniem np. w przypadku tworzenia formuł (calculated fields) czy zapytań LookML.
⇒ Zobacz notkę o Duet AI w LookerGoogle Colab został bardzo ciepło przyjęty, jako bardzo dobra alternatywa dla tradycyjnych Jupyter notebook-ów. Idąc za ciosem, w wersji preview pojawia się Colab Enterprise. Wersja ta wprowadza r ozwiązania istotne z punktu widzenia dużych projektów / podmiotów:
⇒ Jak działa wsparcie Duet AI dla Colab Enterprise, można przeczytać w artykule Use code completion.
W ramach Model Garden pojawia się CodeLlama, stworzona przez Meta.
Przy okazji, warto śledzić informacje o kolejnych wydaniach - nowościach - w ramach Vertex AI, pod adresem:
⇒ Vertex AI, release notesZaprezentowana została również integracja BigQuery z modelami Vertex AI, co pozwala na analizę dużych zbiorów danych bezpośrednio w BigQuery , ale z wykorzystaniem mozliwości dostarczanych przez Vertex AI.
Podstawowe korzyści, płynące z takiej integracji to m.in.
⇒ Zobacz artykuł Integrating Vertex AI foundation models in BigQuery.
Oczywiście lista nowości jest dłuższa, ale powyższe należy uznać za bardzo atrakcyjne i interesujące z punktu widzenia Analityka Danych.
Zapraszam do testowania nowości w ramach Google Cloud Platform.
Napisz do mnie poprzez formularz kontaktowy.