Każdy zespół z automatyzacją zna ten scenariusz: pipeline jest czerwony, ktoś klika „uruchom ponownie”, za drugim razem przechodzi. Nikt nie wie, czy był to błąd w produkcie, w teście, czy w środowisku. Po kilku tygodniach czerwony status przestaje cokolwiek znaczyć.

Niestabilny test (ang. flaky test) to test, który przy tym samym kodzie raz przechodzi, a raz nie. Jest szkodliwy z dwóch powodów: marnuje czas na analizę fałszywych alarmów i - co gorsze - uczy zespół ignorować prawdziwe błędy.

Najczęstsze przyczyny

Czekanie na czas zamiast na stan

Najczęstszy winowajca. Test czeka sztywne 2 sekundy na załadowanie elementu. Na szybkiej maszynie to wystarcza, na obciążonym runnerze CI już nie. Rozwiązanie: czekać na konkretny stan aplikacji - widoczność elementu, zakończenie żądania, zmianę adresu - a nie na upływ czasu. Nowoczesne narzędzia, jak Playwright, robią to domyślnie, jeśli z nich nie walczymy.

Współdzielone dane testowe

Dwa testy używają tego samego konta. Jeden zmienia hasło, drugi próbuje się zalogować. Przy uruchomieniu sekwencyjnym wszystko działa, przy równoległym - losowo nie. Każdy test powinien tworzyć własne dane albo korzystać z izolowanego zestawu.

Zależność od kolejności

Test B przechodzi tylko wtedy, gdy wcześniej uruchomił się test A, bo A zostawił po sobie stan. Sprawdzian: uruchom testy w losowej kolejności. To, co się wysypie, ma ukrytą zależność.

Niestabilne środowisko i usługi zewnętrzne

Wolne środowisko testowe, limity API dostawcy płatności, wygasające certyfikaty. Tu nie pomoże poprawianie samego testu - trzeba albo ustabilizować środowisko, albo zastąpić zewnętrzną usługę kontrolowaną atrapą (mock) w testach, które nie sprawdzają samej integracji.

Prawdziwy błąd w produkcie

Bywa i tak. Wyścig (race condition) w aplikacji objawia się dokładnie jak niestabilny test. Dlatego „to pewnie flaky” nie może być domyślną diagnozą bez analizy.

Jak to opanować - podejście krok po kroku

  1. Zacznij mierzyć. Zbieraj historię wyników: które testy zawodzą i jak często po ponownym uruchomieniu przechodzą. Bez danych dyskusja opiera się na wrażeniach.
  2. Wprowadź kwarantannę. Test uznany za niestabilny trafia do osobnej grupy: dalej się uruchamia, ale nie blokuje pipeline’u. Ważne - kwarantanna ma termin i właściciela, a nie jest cmentarzem.
  3. Naprawiaj według kosztu. Najpierw testy, które zawodzą najczęściej i chronią najważniejsze ścieżki.
  4. Ogranicz automatyczne ponawianie. Retry raz, z zapisaniem informacji, że był potrzebny, jest akceptowalny. Trzykrotne ciche ponawianie tylko ukrywa problem.
  5. Zbieraj dowody przy awarii. Zrzut ekranu, nagranie, trace, logi konsoli i sieci. Test, który zawodzi bez śladu, jest prawie niemożliwy do naprawienia.
  6. Ustal regułę dla nowych testów. Nowy test przed scaleniem uruchamia się kilkanaście razy z rzędu. Jeśli raz nie przejdzie - nie trafia do głównego zestawu.

Ile niestabilności to za dużo?

Nie ma uniwersalnego progu, ale dobra praktyka to dążenie do sytuacji, w której czerwony pipeline niemal zawsze oznacza realny problem. Jeśli zespół regularnie klika „uruchom ponownie” bez zaglądania w wynik, zaufanie już zostało utracone - i to jest właściwy moment, żeby się tym zająć.

Mniej stabilnych testów daje więcej bezpieczeństwa niż wiele testów, którym nikt nie wierzy.

Przejmujemy też istniejące zestawy testów: zaczynamy od audytu repozytorium i stabilności, a potem proponujemy plan naprawy. Jeśli Twoja automatyzacja częściej przeszkadza niż pomaga - opisz nam sytuację.