Teszttípusok

A funkcionális tesztelés a meghatározott viselkedést vizsgálja. Például a jelentkezés csak addig fogad el új diákot, amíg van hely, azután a megadott szabály szerint várólistára teszi. A teszthez szükséges a kiinduló állapot, a bemenet és a megfigyelhető elvárt eredmény. Nem elég a gomb működését látni: az adatoknak és a visszajelzésnek is a szabályt kell követniük.

Funkcionális tesztet több szinten is végezhetünk. A várólista rendezési szabálya vizsgálható egy függvényen, a várólista és értesítő együttműködése integrációban, a jelentkezés teljes menete pedig rendszerszinten. A teszt típusa ugyanaz, mert a kérdés mindenhol a helyes működésre irányul.

A nem funkcionális tesztelés minőségi jellemzőket vizsgál: például teljesítményt, használhatóságot, megbízhatóságot, biztonságot, kompatibilitást vagy hozzáférhetőséget. Nem általános „jó érzést” mérünk; a vizsgálathoz meghatározzuk az értékelés módját. Például hány egyidejű felhasználónál, mekkora adathalmaz mellett és milyen környezetben várunk egy másodpercen belüli választ.

Egy rendszer funkcionálisan helyes lehet, mégis használhatatlan, ha a keresés a szokásos terhelés alatt percekig tart. A biztonsági vizsgálatnál nemcsak a helyes bejelentkezést ellenőrizzük, hanem például azt is, hogy az egyik diák nem fér-e hozzá a másik jelentkezéséhez. A teljesítményvizsgálat és a jogosultsági próbák eltérő módszert és eszközt igényelhetnek.

A strukturális, más néven fehérdoboz jellegű vizsgálat a megvalósítás belső felépítéséből indul ki. Megnézhetjük, hogy a feltételek ágait és a fontos kódutakat lefedik-e a tesztek. Ha a jelentkezési függvény külön ágat tartalmaz betelt kurzusra és érvénytelen jogosultságra, a teszttervben mindkét ághoz kell példa. Egy lefedettségi mérőszám megmutathat hiányokat, de a magas százalék nem bizonyítja a szabályok helyességét.

A strukturális megközelítés és a funkcionális megközelítés kiegészíti egymást. Előfordulhat, hogy minden kódág végrehajtódik, de a követelményből hiányzik egy fontos üzleti eset. Fordítva: több sikeres üzleti eset sem garantálja, hogy egy ritka hibakezelő ágat kipróbáltunk. A választott cél szerint mindkét kérdést érdemes feltenni.

Hibajavítás után a megerősítő teszt újból kipróbálja azt az esetet, amely korábban eltérést mutatott: most megszűnt-e a probléma? A regressziós teszt azt vizsgálja, hogy a változtatás nem rontott-e el más, korábban működő viselkedést. A kettő nem azonos: ha a 18 éves jelentkezők hibáját javítják, az eredeti 18 éves eset megerősítő teszt; a 17 és 19 évesek, valamint más jogosultsági csoportok ellenőrzése lehet regresszió.

A regresszió lehet kézi vagy automatizált, kicsi vagy nagy, a változás és a kockázat alapján. Nem kell minden javítás után minden tesztet feltétlenül futtatni, de meg kell indokolni, milyen közeli vagy közös függőségű részek érintettek. A jó változásvizsgálatnál a hibajegy és a módosított terület segít kiválasztani a megfelelő eseteket.

A kurzuskereső új szűrőjét funkcionálisan akkor vizsgálod, ha azt nézed, valóban csak a megadott tantárgyhoz tartozó kurzusok jelennek-e meg. Nem funkcionális a vizsgálat, ha sok találat mellett mérhető válaszidőt vagy mobil használhatóságot ellenőrzöl. Strukturális szemléletben azt nézed, melyik belső ág kezeli a hiányzó szűrőt és az érvénytelen értéket.

A változás szempontjából az eredeti hibát újrafuttatod megerősítésre, majd a közeli régi keresési módokat regresszióra. Egyetlen jól megtervezett próbával több kérdésre is kaphatsz választ, de ezt nevezd meg pontosan. Attól, hogy egy eredménylistát helyesnek látsz, még nincs bizonyítékod a nagy terhelés alatti válaszidőre.

Tegyük fel, hogy minden kódágat legalább egyszer végrehajtottak. Ez a strukturális lefedettség egy fontos hiányjelzője lehet, de nem bizonyítja, hogy minden ág helyes eredményt ad. Ha a teszt csak azt nézi, hogy nem omlik össze a program, a rossz számítás is átcsúszhat. A teszthez megfelelő elvárt eredmény kell.

Ugyanakkor egy jól sikerült felhasználói próbából sem következik, hogy a ritkán előforduló hibakezelő ág működik. A funkcionális, nem funkcionális és strukturális kérdések együtt adhatnak jobb képet. A megerősítő és regressziós teszt időzítése pedig az új változatból származó kockázathoz igazodik.