Każdy zespół z automatyzacją zna ten scenariusz: pipeline jest czerwony, ktoś klika „uruchom ponownie”, za drugim razem przechodzi. Nikt nie wie, czy był to błąd w produkcie, w teście, czy w środowisku. Po kilku tygodniach czerwony status przestaje cokolwiek znaczyć.
Niestabilny test (ang. flaky test) to test, który przy tym samym kodzie raz przechodzi, a raz nie. Jest szkodliwy z dwóch powodów: marnuje czas na analizę fałszywych alarmów i - co gorsze - uczy zespół ignorować prawdziwe błędy.
Najczęstsze przyczyny
Czekanie na czas zamiast na stan
Najczęstszy winowajca. Test czeka sztywne 2 sekundy na załadowanie elementu. Na szybkiej maszynie to wystarcza, na obciążonym runnerze CI już nie. Rozwiązanie: czekać na konkretny stan aplikacji - widoczność elementu, zakończenie żądania, zmianę adresu - a nie na upływ czasu. Nowoczesne narzędzia, jak Playwright, robią to domyślnie, jeśli z nich nie walczymy.
Współdzielone dane testowe
Dwa testy używają tego samego konta. Jeden zmienia hasło, drugi próbuje się zalogować. Przy uruchomieniu sekwencyjnym wszystko działa, przy równoległym - losowo nie. Każdy test powinien tworzyć własne dane albo korzystać z izolowanego zestawu.
Zależność od kolejności
Test B przechodzi tylko wtedy, gdy wcześniej uruchomił się test A, bo A zostawił po sobie stan. Sprawdzian: uruchom testy w losowej kolejności. To, co się wysypie, ma ukrytą zależność.
Niestabilne środowisko i usługi zewnętrzne
Wolne środowisko testowe, limity API dostawcy płatności, wygasające certyfikaty. Tu nie pomoże poprawianie samego testu - trzeba albo ustabilizować środowisko, albo zastąpić zewnętrzną usługę kontrolowaną atrapą (mock) w testach, które nie sprawdzają samej integracji.
Prawdziwy błąd w produkcie
Bywa i tak. Wyścig (race condition) w aplikacji objawia się dokładnie jak niestabilny test. Dlatego „to pewnie flaky” nie może być domyślną diagnozą bez analizy.
Jak to opanować - podejście krok po kroku
- Zacznij mierzyć. Zbieraj historię wyników: które testy zawodzą i jak często po ponownym uruchomieniu przechodzą. Bez danych dyskusja opiera się na wrażeniach.
- Wprowadź kwarantannę. Test uznany za niestabilny trafia do osobnej grupy: dalej się uruchamia, ale nie blokuje pipeline’u. Ważne - kwarantanna ma termin i właściciela, a nie jest cmentarzem.
- Naprawiaj według kosztu. Najpierw testy, które zawodzą najczęściej i chronią najważniejsze ścieżki.
- Ogranicz automatyczne ponawianie. Retry raz, z zapisaniem informacji, że był potrzebny, jest akceptowalny. Trzykrotne ciche ponawianie tylko ukrywa problem.
- Zbieraj dowody przy awarii. Zrzut ekranu, nagranie, trace, logi konsoli i sieci. Test, który zawodzi bez śladu, jest prawie niemożliwy do naprawienia.
- Ustal regułę dla nowych testów. Nowy test przed scaleniem uruchamia się kilkanaście razy z rzędu. Jeśli raz nie przejdzie - nie trafia do głównego zestawu.
Ile niestabilności to za dużo?
Nie ma uniwersalnego progu, ale dobra praktyka to dążenie do sytuacji, w której czerwony pipeline niemal zawsze oznacza realny problem. Jeśli zespół regularnie klika „uruchom ponownie” bez zaglądania w wynik, zaufanie już zostało utracone - i to jest właściwy moment, żeby się tym zająć.
Mniej stabilnych testów daje więcej bezpieczeństwa niż wiele testów, którym nikt nie wierzy.
Przejmujemy też istniejące zestawy testów: zaczynamy od audytu repozytorium i stabilności, a potem proponujemy plan naprawy. Jeśli Twoja automatyzacja częściej przeszkadza niż pomaga - opisz nam sytuację.