Eszköztámogatás a tesztelésben

Teszteszköz segíthet megtervezni, végrehajtani, dokumentálni és nyomon követni a tesztelési munkát. Csökkentheti az ismétlődő kézi feladatok idejét, megőrizheti az eredményeket, és láthatóvá teheti a követelmény, teszteset, futtatás és hibajegy kapcsolatát. Az eszköz nem határozza meg helyettünk, mit jelent a helyes eredmény. Ha egy követelmény kétértelmű, a legszebb tesztriport sem teszi egyértelművé.

Az eszközöket célszerű a támogatott tevékenység szerint csoportosítani: tesztmenedzsment és követhetőség, statikus vizsgálat, tesztspecifikáció és tesztadat, végrehajtás és naplózás, teljesítmény, megfigyelés vagy speciális területek. Egy termék több csoportba is tartozhat, ezért a kategória nem egyenlő a gyártó nevével. Először a feladatot és a várható hasznot határozzuk meg.

A tesztmenedzsmentet támogató eszközök tárolhatnak tesztterveket, eseteket, futtatási eredményeket, jogosultságokat és hibajegyek hivatkozásait. Segíthetnek megmutatni, melyik követelményhez van teszt, melyik fontos eset blokkolt, és melyik verzión futott egy ellenőrzés. A hibajegy és a futtatás közti link értékes, ha valóban naprakészen tartják; az üres vagy elavult link hamis biztonságérzetet ad.

Az eszközt a csapat munkafolyamatához illesztjük. Kis óratervnél egyszerű, megosztott táblázat is lehet elég; sok változó követelmény és több kiadás mellett következetesebb kezelésre lehet szükség. Nem a licenc vagy a gombok száma a cél, hanem hogy a tesztelő és a döntéshozó megbízható állapotot lásson.

Egy statikus elemző figyelmeztethet például nem használt változóra, gyanús kódmintára, előírt szabály megsértésére vagy bizonyos típusú biztonsági problémára anélkül, hogy a vizsgált programot futtatná. Dokumentumok felülvizsgálatát megjegyzéskezelés, változáskövetés és a nyitott észrevételek listája támogathatja. Az eszköz jelzését szakmailag értékelni kell, és a felhasználói igény helyességéről önmagában nem dönt.

A túl sok irreleváns figyelmeztetés elrejtheti a komolyakat. Érdemes a szabályokat a projekthez igazítani, a jelzések okát megérteni, és a javítás után újra ellenőrizni az érintett részt. Egy felülvizsgálati megjegyzés ugyanúgy csak akkor ér valamit, ha a döntést és a javítást nyomon követik.

Tesztspecifikációt segítő eszköz előállíthat vagy rendszerezhet teszteseteket egy modellből, feltételek kombinációjából vagy követelményből; adatelőkészítő eszköz megfelelő próbákhoz használható adathalmazt állíthat össze. Az így készült eseteket át kell nézni: valóban az érvényes üzleti szabályt vizsgálják-e, van-e elvárt eredményük, és lefedik-e a fontos kockázatokat. A generált mennyiség nem azonos az érdemi lefedéssel.

Egy kurzusjelentkezésnél az aktív/inaktív jogviszony, a szabad/betelt kurzus és a jogosult/nem jogosult szerepkör kombinációi rendszerezhetők. A határhelyzeteket és a várható kimenetet azonban a tanár vagy üzleti felelős szabálya alapján kell meghatározni. A tesztadat legyen kezelhető, ismételhető, és ne tartalmazzon szükségtelenül valódi diákadatot.

Tegyük fel, hogy egy eszköz automatikusan 120 tesztesetet generál a diákok jogosultságához. A sok eset csak akkor értékes, ha az aktív, inaktív és hiányzó jogviszony elvárt kimenete pontosan ismert. Egy hiányos szabályból generált száz eset ugyanazt a hiányt sokszorozhatja. A tesztelő ezért átnézi, melyik kombináció fontos és melyikhez van ellenőrizhető eredmény.

Hasonlóan a statikus elemzés jelzései sem kész hibajegyek: egy figyelmeztetés lehet valódi eltérés vagy az adott projektben indokolt kivétel. A tesztmenedzsment eszköz sem teremt követhetőséget, ha a hivatkozások és állapotok elavulnak. Az eszközök haszna az adatok és az emberi döntések minőségén múlik.