Tesztmetrikák és tesztjelentések

A tesztjelentés használhatja a tervezett, megírt, futtatott, sikeres, sikertelen és blokkolt esetek számát; a nyitott hibák súlyosság szerinti megoszlását; a fontos követelmények tesztelési lefedését; valamint a tesztelés üteméhez és kockázatához kapcsolódó mutatókat. Minden mutatóhoz meg kell adni az értelmezést. A „15 sikeres teszt” nem mondja meg, összesen hány fontos eset van, milyen verzión futottak, és mit nem lehetett ellenőrizni.

Ha 20 tervezett esetből 12 futott le, a végrehajtás aránya 12/20 = 60%. Ha ebből 9 sikeres, a lefutottak közti sikerarány 9/12 = 75%; a teljes tervre vetítve 9/20 = 45%. Ezek eltérő nevezők, eltérő állítások. A blokkolt eseteket külön jelöld: azokat nem szabad automatikusan sikeresnek vagy hibásnak számolni.

A haladási jelentés a folyamat közben a következő döntést segíti: hol tartunk a tervhez képest, mi akadályozza a munkát, milyen veszélyre kell reagálni? A befejezési jelentés a tesztelt verzióról és a teljesített célokról összegzi a bizonyítékot, a nyitott hibákat és a fennmaradó kockázatot. A környezet és a tesztadat nélkül egy látszólag egyértelmű eredmény később nehezen értelmezhető.

A jelentés ne csak kedvező számokat közöljön. Például 30 sikeres eset mellett egyetlen nyitott adatvesztési hiba is döntő lehet. Szerepeljen, melyik fontos funkció blokkolt, milyen feltételezésre épül a teszt, és mit nem vizsgáltak. Az adatok nem helyettesítik a minőségi értékelést és a döntést.

A fejlesztőnek a hibák reprodukálásához műszaki részlet, pontos adat és környezet kell. A tesztvezetőnek az előrehaladás, blokkoló tényezők és erőforrás; a projektvezetőnek ütemezési hatás és kiadási feltétel; a felhasználói képviselőnek a fontos folyamatok megfelelése és a maradék kockázat. A magadatott tények nem változnak, de az összefoglalás nyelve és kiemelése a címzetthez igazodik.

Egy jó rövid vezetői üzenet például: „A foglalási fő út vizsgált esetei sikeresek, de a párhuzamos foglalás hibája nyitott. A kiadás előtti feltétel ezért még nem teljesül.” A hibajegyben ugyanennek a problémának pontos lépéseit és naplóit írnánk le. A két dokumentum más célt szolgál.

A végrehajtott tesztek száma a folyamat haladását jelzi, de nem feltétlenül a termék minőségét. A megtalált hibák száma sem egyenesen arányos a termék rosszaságával: sok hiba jelentheti az alapos vizsgálatot, kevés hiba jelentheti a kimaradt fontos eseteket. A súlyosság, az érintett funkció és a maradék kockázat nélkül az egyetlen szám félrevezető lehet.

Jelentésben ezért együtt szerepel a megfigyelt tény, a mérőszám pontos definíciója és a következtetés korlátja. „Kilenc sikeres eset” helyett írd: „a v2.1 változaton 20 tervezettből 11 értékelhető, közülük 9 sikeres; a párhuzamos jelentkezés kritikus esete még blokkolt”. Ezután megnevezhető a következő döntéshez szükséges munka.