Google Cloud Next’23 Okiem Analityka Danych

09.2023 | Google Cloud | BigQuery | Vertex AI

W dniach 29-31 sierpnia 2023 miała miejsce konferencja Google Cloud Next’23. Jest to konferencja poświęcona jednemu z najważniejszych produktów Google, czyli chmurze. Aczkolwiek słowo "produkt" może jest tu niewłaściwe, bowiem Google Cloud to szeroki zbiór usług, które usprawnią pracę nie tylko developera, ale i Analityka Danych.

Prześledźmy zatem, jakie najważniejsze nowości dla Analityka Danych, zaprezentował Google.

1. BigQuery Studio.

Platforma analityczna (serverless data warehouse), która ma ułatwić proces analizy danych zgromadzonych w BigQuery. Jest to możliwe poprzez włączenie nie tylko SQL-a, ale i Pythona. Notebooki z napisanym kodem mogą być następnie wykorzystywane w usłudze Vertex AI, która wnosi znacznie większe możliwości jeżeli chodzi o budowę modeli, predykcję etc.

1.1. BigQuery DataFrames

W wersji preview, zaprezentowano funkcjonalność BigQuery DataFrames.

Funkcjonalność ta umożliwia tworzenie i manipulowanie obiektami DataFrame w BigQuery, za pomocą języka Python. Dzięki temu można wykonywać operacje na danych w BigQuery, korzystając z interfejsu podobnego do tego, który oferuje biblioteka pandas. Wszystkie obliczenia są wykonywane w silniku zapytań BigQuery, co pozwala na szybkie przetwarzanie dużych zbiorów danych.

1.2. BigQuery Data Clean Rooms

Oprócz BigQuery DataFrames, zaprezentowano również Data Clean Rooms, które także są dostępne w wersji preview.

Funkcjonalność ta umożliwia bezpieczne i poufne współdzielenie danych między różnymi organizacjami. Dane są przechowywane w izolowanych instancjach BigQuery, a dostęp do nich jest kontrolowany za pomocą ról i uprawnień.

Dodatkowe informacje:

⇒ Overview of BigQuery Data Studio

⇒ BigQuery release notes

2. Duet AI w BigQuery

Duet AI to produkt typu “Asystent AI", wspierające tworzenie zapytań SQL oraz kodu Pythona na platformie BigQuery Studio.

Wykorzystując asystenta możemy np. szybko wykonać segmentację klientów, co przedstawia poniższy przykład video:

⇒ Wykorzystanie Duet AI, w środowisku BigQuery Studio, do utworzenia segmentów klienckich:

Duet AI jest produktem samodzielnym, który będzie wspierał nie tylko nasze działania w BigQuery. Warto więc zobaczyć poniższy opis, która pokazuje generalne możliwości Duet AI.

⇒ Duet AI w ramach usług Google Cloud

3. Duet AI w Looker

Nowy asystent AI trafi również do rodziny produktów Looker (analiza i wizualizacja danych) i pomoże nam w takich czynnościach jak np.

Prowadzenie konwersacji z naszymi danymi, a zatem możemy szybko otrzymać informacje np. o tygodniowym trendzie sprzedaży w wybranym segmencie produktowym (o ile odpowiednio zadamy pytanie)
Tworzenie szybkich wizualizacji, jak i całych raportów
Tworzenie prezentacje Google Slides, na bazie naszych raportów np. jako podsumowanie na spotkanie zarządu
Wsparcie w procesie tworzenia kalkulacji i przekształcania danych tzn. dajemy prompt, który definiuje co chcemy otrzymać, a Duet AI, przygotowuje potrzebną kalkulację
Wsparcie w procesie generowania zapytań LookML (dotyczy produktu Looker, nie Looker Studio)

Otrzymamy zatem personalnego asystenta, który pomoże nam w pracach, zarówno związanych z “wyklikiwaniem" wykresów, jak i kodowaniem np. w przypadku tworzenia formuł (calculated fields) czy zapytań LookML.

⇒ Zobacz notkę o Duet AI w Looker

4. Colab Enterprise

Google Colab został bardzo ciepło przyjęty, jako bardzo dobra alternatywa dla tradycyjnych Jupyter notebook-ów. Idąc za ciosem, w wersji preview pojawia się Colab Enterprise. Wersja ta wprowadza r ozwiązania istotne z punktu widzenia dużych projektów / podmiotów:

Zaawansowane zarządzanie użytkownikami i uprawnieniami wg schematu znanego z IAM
Zarządzanie wersjami
Integrację z Vertex AI i Biguery
Wsparcie Duet AI np. code assistance (completion)

⇒ Jak działa wsparcie Duet AI dla Colab Enterprise, można przeczytać w artykule Use code completion.

5. Vertex AI, Model Garden

W ramach Model Garden pojawia się CodeLlama, stworzona przez Meta.

Przy okazji, warto śledzić informacje o kolejnych wydaniach - nowościach - w ramach Vertex AI, pod adresem:

⇒ Vertex AI, release notes

6. Integracja BigQuery z modelami Vertex AI

Zaprezentowana została również integracja BigQuery z modelami Vertex AI, co pozwala na analizę dużych zbiorów danych bezpośrednio w BigQuery , ale z wykorzystaniem mozliwości dostarczanych przez Vertex AI.

Podstawowe korzyści, płynące z takiej integracji to m.in.

Nie ma już potrzeby, aby budować pipeline pomiędzy BigQuery a modelem obsługiwanym w Vertex AI
Minimalizacja ryzyka związanego z “ucieczką" danych (bezpieczeństwo), bowiem wszystko odbywa się w jednej przestrzenii - usłudze (dane nie muszą być przekazywane pomiędzy usługami / projektami)
Mniejsza ilość kodowania, bowiem nie trzeba już w Vertex AI przygotować kodu do odczytu, pobrania, przetworzenia danych etc.
Mniejsze koszty, przy większej wydajności obliczeniowej

⇒ Zobacz artykuł Integrating Vertex AI foundation models in BigQuery.

Oczywiście lista nowości jest dłuższa, ale powyższe należy uznać za bardzo atrakcyjne i interesujące z punktu widzenia Analityka Danych.