A tesztvégrehajtás és naplózás eszközei

Egy végrehajtó eszköz előre meghatározott műveleteket ismételhet: például megnyitja az űrlapot, kitölti az adatokat, beküldi és összeveti a kapott eredményt az elvárttal. A futtatási napló megőrzi a teszt azonosítóját, verziót, környezetet, időpontot, bemenetet, elvárt és tényleges eredményt, valamint a hiba körülményeit. Automatikus futtatás nélkül is érdemes következetesen naplózni.

A zöld eszközeredmény csak azt bizonyítja, amit a teszt valóban ellenőrzött. Ha egy automata csak a „sikeres” üzenet meglétét nézi, a hiányzó adatbázisrekord észrevétlen maradhat. A törékeny, felületi változásra érzékeny szkript hamis hibajelzéseket is adhat. Az eredmény értelmezéséhez szükséges a tesztcél és a rendszer állapota.

Terhelésmérő eszközzel meghatározott számú felhasználó vagy kérés mellett mérhetünk válaszidőt, hibaarányt és erőforrás-használatot. Az eredmény csak a megadott adatmennyiség és környezet mellett értelmezhető. A felügyeleti, monitorozó eszközök az alkalmazás működése során naplókat, hibákat és teljesítménymutatókat gyűjthetnek; a megfigyelés nem azonos egy előre megtervezett terheléses teszt végrehajtásával.

Egy 100 egyidejű jelentkezős próba esetén az átlagos válaszidő mellett a lassabb kérések és a sikertelen foglalások száma is fontos lehet. Ha a tesztadat minden alkalommal ugyanarra az egy kurzusra irányul, a mérés más terhelést hozhat létre, mint az életszerű használat. A terhelési modell és az elfogadási küszöb legyen ismert a futtatás előtt.

Bizonyos eszközök meghatározott területre készülnek: például mobilalkalmazás, hozzáférhetőség, biztonság, API vagy adatbázis vizsgálatára. Más eszközök fejlesztési vagy kiadási rendszerhez kapcsolódnak, és automatikus build után elindíthatják a kijelölt teszteket, majd az eredményeket tesztmenedzsment- és hibakövető felületre továbbíthatják. A kapcsolatoknál ellenőrizni kell, melyik buildet és tesztkészletet futtatták.

Az eszközlánc látványosan sok adatot termelhet, de a zaj és a hibás beállítás csökkentheti az értékét. Egy automata kör minden buildnél zöld lehet, ha rossz környezethez kapcsolódik vagy régi teszteket használ. Célszerű egy egyszerű próbán ellenőrizni, hogy az eszközök közötti átadás valóban az aktuális verzió eredményét jeleníti meg.

A gyakran ismételt, stabil és jól ellenőrizhető esetek automatizálása sokszor hasznos: egy jogosultsági alapteszt minden változtatás után gyorsan lefuthat. A felderítő vizsgálatot vagy bizonytalan felhasználói igény tisztázását nem helyettesíti pusztán a szkript. A kezdeti elkészítés és a változó felülethez igazítás szintén időt igényel.

Az automatizálási döntéshez kérdezd meg: milyen gyakran fut majd a teszt, mekkora a hiba következménye, van-e megfigyelhető elvárt eredmény, és mennyit változik a felület vagy adat. A naplózott automatizált tesztet is karban kell tartani, különben a sok sikeres futás elavult elvárást igazolhat.

Egy teljesítménymérő eszköz képes száz egyidejű kérést indítani, de az eredmény használhatóságához tudni kell, mire irányulnak ezek a kérések, milyen adatbázisban futnak, és mi a mérhető elfogadási küszöb. Száz üres lekérdezés nem ugyanaz, mint száz párhuzamos foglalás az utolsó szabad helyekre. Az átlagos válaszidő a leglassabb kérések és a hibaarány nélkül félrevezető lehet.

A rendszer működésének későbbi felügyelete segíthet felismerni visszatérő hibákat, de a naplóban szereplő felhasználói adatot megfelelően kell kezelni. A teszt eredményét és az éles működés megfigyelését világosan különítsd el: a kettő más feltételekkel gyűjtött adat.