Synchronizacja danych pomiędzy bazą produkcyjną Google Cloud SQL a bazą analityczną Google BigQuery

Częstym problemem jest budowa bazy analitycznej, która synchronizuje się z bazą produkcyjną, pobierając tylko wybrane zestawy danych. Niniejszy post przedstawia budowę takiej infrastruktury, w której baza produkcyjna jest oparta o Google Cloud SQL, a baza analityczna jest oparta o Google BigQuery. Dane są synchronizowane co godzinę, przyrostowo.

Universal Analytics. Wykorzystanie Google Analytics Reporting API v3 do pobrania danych i zapisu w plikach tekstowych

Proces wycofania Universal Analytics i zastąpienia go poprzez implementację Google Analytics 4, powoduje, że szukamy możliwości dla zachowania danych zgromadzonych poprzez Universal Analytics. Wydajnie i szybko można to osiągnąć poprzez wykorzystanie API. Post przedstawia bibliotekę googleAnalyticsR napisaną w języku R i dedykowaną do interakcji z API GA w wersji 3. Pobieramy dane z GA i następnie zapisujemy je do pliku.

Przegląd operacji związanych z index w Pandas

Indeks jest nieodłącznym elementem każdej ramki danych (dataframe). Dobre, przemyślane indeksowanie pozwala uzyskać efektywniejszy dostęp do danych tzn. szybszy i czytelniejszy. Pakiet pandas pozwala na szybkie wprowadzenie dowolnej kolumny jako indeks, co więcej pozwala na wprowadzenie multi-indeksów, gdzie dwie lub więcej kolumn pełni rolę indeksu. W niniejszym poście pokazujemy jak operować indeksem i jego właściwościami.

Analytics Data API. Wykorzystanie biblioteki googleAnalyticsR do pobierania danych z GA4 (część 1)

Środowisko R ma do zaoferowania bardzo interesująca bibliotekę do pobierania danych z Google Analytics 4. Biblioteka jest bardzo intuicyjna (prosta) w użyciu, co pozwala na szybkie pobranie danych Google Analytics 4 do własnej przestrzeni i następnie np. przygotowanie konkretnych zestawień czy wykresów pod nasze potrzeby. W niniejszym poście pokazujemy, jak się połączyć i jak szybko pobrać dane z Google Analytics 4.

PyScript. Python uruchamiany w przeglądarce.

Czy nie byłoby wspaniale, móc uruchomić skrypt Pythona bezpośrednio w przeglądarce internetowej? Tak, mniej więcej, brzmi jedno z haseł na stronie PyScript.net. Zapewne tak, zapewne też PyScript nie jest tu pierwszy, mamy np. WebAssembly. Osobiście jednak czuję dużą prostotę i wygodę korzystania z PyScript-a. Największy minus to szybkość działania. W niniejszym wpisie pokazuję kilka przykładów do samodzielnego uruchomienia i oceny PyScript-a.

Python i Clickup. Integracja i pobieranie danych raportowych.

ClickUp to zyskujący na popularności system zarządzania projektami. Jego główne zalety to m.in. mnogość opcji. Doskwiera mi jednak moduł raportowania, który jest stale dość skromny, jak również preferuję udostępniać dane raportujące czasy prac projektowych, poprzez zewnętrzne narzędzia np. własny dashboard zbudowany w Tableau. Niniejszy post pokazuje jak szybko wykonać taką inetgrację.

Analiza marketingowa. Wyliczenie wartości ARPU z wykorzystaniem Pandas

Wskaźnik ARPU jest to określenie średniego przychodu generowanego na wybraną jednostkę np. na jednego użytkownika lub na zdefiniowany okres czasu. Jest często wykorzystywany np. w analizie usług telekomunikacyjnych. Obrazuje on m.in. sprawność działania firmy np. w sytuacji wprowadzenia nowej oferty. Analizujemy wtedy zmianę ARPU, jej wzrost świadczy o uzyskaniu dodatkowych przychodów per jednostka. Niniejszy post obrazuje wyliczenie ARPU za pomocą pakietu Pandas.

Raporty z wykorzystaniem Python i Microsoft Power BI

Microsoft Power BI jest doskonałym narzędziem do analizy danych, zarówno w obszarze ich eksploracji, jak i wizualizacji. Co, jednak jeżeli możliwości wbudowanych mechanizmów są dla nas niewystarczające? Np. Gdy potrzebujemy zastosować niestandardową wizualizację. Doskonałym rozwiązaniem jest tu integracja Power BI z językiem Python.

Shiny w wersji dla Pythona (part 1)

Shiny to popularny pakiet, dostępny dla programistów języka R, pozwalający na tworzenie interaktywnych wizualizacji dla danych. Od 27 lipca, pakiet ten jest dostępny też dla programistów Pythona. Zacznijmy zatem nasz przegląd pakietu Shiny dla Pythona i zobaczmy, jak może wyglądać aplikacja typu "hello word".

Środowisko wirtualne w Pythonie

Konieczna praktyką przy pracy w Pythonie jest operowanie środowiskiem wirtualnym. Środowisko wirtualne jest jak czysta kartka tzn. Jest to zamknięte środowisko programistyczne, które tworzymy od zera I które nie wpływa na globalna instalację Pythona, czy na globalnie zainstalowane pakiety. Jeżeli takie środowisko przestanie nam być potrzebne, to możemy - podobnie do wyrwania kartki - je usunąć z systemu.

O Mnie

Wspieram firmy w transformacji na model działania oparty o dane. Wdrażam i wyciągam rekomendacje, płynące z danych.

Korzystam z Google Marketing Cloud, Google Cloud Platform, Tableau, Microsoft Power BI oraz Python i R.

Posiadam certyfikat Google Analytics 4 i Tableau Certified Professional, doświadczenie akademickie oraz 20-lat doświadczenia biznesowego.

Jestem Co-Founderem spółek: Hexe Capital SA, Cut2Code, Boostsite, KODA, Insightland.

Zapraszam. Krzysztof Surowiecki

Więcej o mnie Współpraca

Moje certyfikaty