Obserwuj usługę i jej użytkowników

Zacznij od pytania

Monitoring sprawdza znane warunki. Obserwowalność pomaga badać zachowanie systemu, w tym nieprzewidziane awarie. Więcej dashboardów nie oznacza automatycznie lepszych odpowiedzi.

Dla fikcyjnej usługi eksportu zacznij od pytania użytkownika: czy uprawniony użytkownik może otrzymać poprawny eksport w uzgodnionym czasie? Następnie wybierz sygnały, które odpowiadają na to pytanie i pomagają wyjaśniać awarie.

OpenTelemetry zapewnia instrumentację i standardy telemetrii. Może wysyłać sygnały do zgodnych backendów. Nadal potrzebujesz przechowywania, zapytań, kontroli dostępu, retencji i ludzi działających na podstawie dowodów. Podstawy obserwowalności.

Połącz różne rodzaje dowodów

Metryka mierzy wielkość w czasie. Log zapisuje zdarzenie. Ślad łączy powiązane operacje podczas przejścia żądania przez system. Span reprezentuje jedną operację w śladzie.

W pracy asynchronicznej zachowaj bezpieczne powiązanie między zgłoszonym zadaniem a wykonaniem przez worker. Odpowiedź HTTP 202 może oznaczać przyjęcie pracy. Nie dowodzi zakończenia eksportu.

Alarmuj, gdy potrzebne jest działanie

Określ SLI i jego mianownik przed ustaleniem SLO. W przykładzie licz kwalifikujące się eksporty poprawnie zakończone w uzgodnionym czasie. Określ, jak pomiar uwzględnia zadania długotrwałe i porzucone.

Budżet błędów określa dopuszczalne niepowodzenia w oknie SLO. Tempo zużycia budżetu wskazuje, jak szybko błędy go wyczerpują. Wytyczne Google stosują wiele okien czasowych, aby równoważyć szybkie wykrywanie i nadmiar alertów. Alerty oparte na SLO.

Wezwij osobę dyżurującą, gdy sytuacja wymaga szybkiego działania. Mniej pilne sprawy kieruj do kolejki. Każdy alert potrzebuje właściciela, opisu wpływu, linku do analizy i instrukcji reakcji. Przeglądaj alerty, które wielokrotnie nie prowadzą do działania.

Nie stosuj jednego ogólnego progu dla wszystkich usług. Wpływ na użytkowników, ruch, godziny pracy i zdolność reagowania wpływają na decyzję.

Chroń pipeline telemetrii

Telemetria może zawierać dane osobowe, tokeny, parametry żądań i poufne dokumenty. Określ dozwolone pola przed zbieraniem danych. Ogranicz dostęp i retencję. Usuń sekrety przed wysłaniem do zewnętrznego backendu. Dane wrażliwe w telemetrii.

Nie używaj adresu e-mail klienta ani unikatowego ID zadania jako etykiety metryki. Etykiety bez ograniczonego zbioru wartości zwiększają liczbę szeregów czasowych i mogą ujawniać identyfikatory. Stosuj kontrolowane wymiary metryk. Zatwierdzone identyfikatory korelacji umieszczaj w logach lub śladach z kontrolą dostępu.

Mierz również sam pipeline. Sprawdzaj błędy przyjmowania danych, odrzucone dane i wiek ostatniej obserwacji. Płaski wykres błędów może oznaczać brak błędów albo brak telemetrii. Pokazuj tę różnicę.

Przeanalizuj konkretną awarię

Fikcyjna usługa zwraca HTTP 202 dla każdego żądania. Wiek zadań w kolejce rośnie z sekund do 15 minut. Logi workerów pokazują powtarzające się przekroczenia czasu połączeń z bazą danych. Próbkowane ślady przypisują większość czasu workera wywołaniom bazy.

Te dowody pozwalają zawęzić analizę. Nie ustalają, czy przyczyną jest zmiana zapytania, wyczerpanie połączeń czy wydajność bazy danych. Porównaj hipotezy za pomocą metody debugowania.

Taiga Monitoring pokazuje kondycję produktu przez sygnały dostępności i działania w przeglądarce. Uzupełnia obserwowalność infrastruktury i aplikacji; nie zastępuje tych systemów. Monitoring.