Monitorowanie rzeczywistych użytkowników (RUM)

Monitorowanie rzeczywistych użytkowników (RUM, od Real User Monitoring) to sposób mierzenia, jak strona internetowa lub aplikacja zachowuje się wobec osób, które naprawdę z niej korzystają. Mały fragment kodu na stronie albo pakiet SDK w aplikacji mobilnej zapisuje czasy i błędy podczas każdej prawdziwej wizyty i wysyła je do usługi zbierającej dane do analizy.

Kluczowe jest słowo „rzeczywistych”. Test laboratoryjny pokazuje, jak strona ładuje się na jednym szybkim komputerze w jednym centrum danych. RUM pokazuje, jak ładuje się na trzyletnim telefonie w pociągu, przy słabym zasięgu i z rozszerzeniem przeglądarki, które dokłada własne skrypty. Takich warunków jest zbyt wiele, by je odtworzyć, więc jedyny sposób, by je poznać, to mierzyć je tam, gdzie powstają.

RUM jest metodą pasywną: nie generuje ruchu testowego, tylko obserwuje. To jedna z dwóch połówek pomiaru doświadczenia cyfrowego, drugą jest monitoring syntetyczny, a zarazem jedno z odczytań szerszego pojęcia monitorowania użytkowników końcowych, które obejmuje także śledzenie aktywności. Mieści się w ogólnej praktyce monitorowania. Mimo nazwy „użytkownik” oznacza tu sesję odwiedzającego, a nie pracownika poddanego ocenie.

Niezależnie od dostawcy wdrożenie RUM przebiega tą samą drogą od urządzenia odwiedzającego do panelu analitycznego.

1. 1

   Instrumentacja

   Dodaj do strony skrypt lub do aplikacji pakiet SDK. Rejestruje on obserwatory danych o wydajności, które przeglądarka już udostępnia.

2. 2

   Zbieranie

   W trakcie wizyty skrypt odczytuje czasy nawigacji, zasobów, renderowania i interakcji oraz notuje błędy JavaScript i nieudane żądania.

3. 3

   Wzbogacanie

   Każdy rekord dostaje kontekst: stronę lub ekran, przeglądarkę, klasę urządzenia, typ połączenia, przybliżoną lokalizację i identyfikator sesji.

4. 4

   Wysyłanie

   Skrypt wysyła dane małymi partiami jako sygnał (beacon), najlepiej gdy strona jest ukrywana lub zamykana, by nie spowalniać samej wizyty.

5. 5

   Agregacja

   Zaplecze grupuje rekordy według strony, wersji, kraju lub urządzenia i pokazuje rozkłady, trendy oraz alerty.

RUM rejestruje wiele sygnałów, ale trzy są standardem w pracy nad stronami. To Core Web Vitals, a Google publikuje wartości docelowe, które uznaje się za dobre, gdy są spełnione w co najmniej 75 procentach wizyt. Poza nimi RUM zwykle śledzi czas odpowiedzi serwera (TTFB), błędy JavaScript, czas trwania wywołań API wykonywanych przez stronę oraz, w aplikacjach mobilnych, awarie i czas uruchamiania.

Dane RUM są rozkładem, a nie pojedynczą liczbą. Średnia ukrywa odwiedzających, którzy cierpią najbardziej, dlatego zespoły czytają percentyle: mediana pokazuje typową wizytę, a 75. lub 95. percentyl powolny ogon. Porównuj ten sam percentyl między wersjami, bo zmiana składu odwiedzających będzie wyglądać jak zmiana w serwisie.

Prawdziwa wartość bierze się z podziałów. Rozbij dane według klasy urządzenia, przeglądarki, typu połączenia, szablonu strony i geolokalizacji, a problem zwykle sam się nazwie: ciężki skrypt, który szkodzi tylko słabym telefonom, region daleko od najbliższego serwera, wersja, która podniosła odsetek błędów w jednej wersji przeglądarki. Metoda ma też martwe punkty. Widzi tylko wizyty, w których załadował się skrypt, a blokery i wybory dotyczące zgody część z nich usuwają.

RUM rzadko działa samodzielnie. Monitoring syntetyczny uruchamia według harmonogramu skryptowe testy z ustalonych lokalizacji, a monitorowanie wydajności aplikacji (APM) śledzi to, co dzieje się wewnątrz serwerów. Każde odpowiada na inne pytanie:

Większość rozczarowujących wdrożeń RUM zawodzi w znajomy sposób:

• Czytanie średnich zamiast percentyli, przez co najwolniejsi odwiedzający pozostają niewidoczni
• Porównywanie okresów o innym składzie urządzeń, krajów lub źródeł ruchu, a potem przypisywanie zasługi ostatniej wersji
• Zbieranie pełnych adresów URL z parametrami, wartościami formularzy lub identyfikatorami użytkowników, których pytanie nigdy nie wymagało, co rozwiązałaby anonimizacja u źródła
• Próbkowanie tak agresywne, że rzadkie strony i rzadkie błędy znikają
• Patrzenie wyłącznie na szybkość bez powiązania jej z wynikami, takimi jak współczynnik odrzuceń, konwersja czy zgłoszenia do wsparcia

Dane RUM służą kilku zespołom, a każdy chce innego ich wycinka. Warto też powiedzieć, do czego RUM nie służy: nie jest narzędziem do obserwowania poszczególnych pracowników, a tym zajmuje się monitorowanie aktywności użytkowników.

RUM to dane o wydajności, ale mogą one być także danymi osobowymi. Adresy IP, cechy urządzenia, identyfikatory sesji i adresy URL mogą wskazywać osobę, więc może mieć zastosowanie prawo ochrony danych (w UE RODO), a unijne przepisy ePrivacy o zapisywaniu lub odczytywaniu informacji na urządzeniu mogą wymagać zgody. Rozwiązanie przyjazne prywatności unika trwałych identyfikatorów, skraca adresy IP, usuwa parametry z adresów URL i respektuje wybór dokonany w banerze zgody. Szczegóły dla swoich rynków omów z doradcą prawnym.

Rozsądny start jest niewielki. Wybierz trzy lub cztery strony, które przynoszą najwięcej, zmierz na nich Core Web Vitals, ustaw alert na 75. percentylu i przeglądaj go po każdym wydaniu. Jeśli twoje pytanie dotyczy tego, co robią pracownicy, a nie tego, jak działa serwis, właściwa kategoria to monitorowanie aktywności pracowników, które opiera się na innych danych i innych zabezpieczeniach.