Konfigurációmenedzsment a tesztelésben

Ugyanaz a teszt különböző kódverzión, adatbázis-sémával, böngészőben vagy külső szolgáltató beállításával eltérő eredményt adhat. A konfigurációmenedzsment segít azonosítani, mely munkatermékek és környezeti elemek milyen változatban tartoznak össze. Teszteléskor ismerni kell a vizsgált alkalmazást, a tesztterv és a teszteset változatát, a szükséges adatokat és a környezetet, hogy az eredmény megismételhető és értelmezhető legyen.

Ha a követelmény v3 a kedvezmény új szabályát írja, de a teszt a régi v2 elvárásával fut, a sikertelen eredmény nem feltétlenül termékhiba. Előbb meg kell nézni, hogy a teszt alapja és a telepített termék összetartozik-e. A konfigurációs alapvonal egy meghatározott állapotot rögzít, amelyhez későbbi változásokat viszonyítani lehet.

Az alkalmazás verziója, konfigurációs kapcsolók, adatbázis-séma, külső kapcsolatok, tesztadat és a hozzájuk illő követelmény, teszteset, automatikus szkript egy együtt értelmezhető konfigurációt alkot. A tesztfuttatás eredményét és a hibajegyet ehhez kötjük. Nem szükséges minden képernyőfotón minden technikai adatot megismételni, ha egy egyértelmű build-azonosító és környezetleírás visszavezet a szükséges elemekhez.

A változások követése megmutatja, mi módosult két tesztfutás között. Ha egy regressziós teszt tegnap sikeres volt, ma sikertelen, a változáslista segíthet az érintett funkció és függőségek keresésében. A változatlan teszteredmény sem bizonyítja, hogy valóban az új build futott: ellenőrizni kell a telepített verziót.

Egy kurzusfoglalási hiba újra előidézéséhez rögzítsük: alkalmazás v1.8, adatbázis-séma 6, aktív várólista-funkció kapcsoló, két diák fiókja, kurzus 19/20 foglalással, böngésző és a két egyidejű kérés lépései. A rögzített konfigurációból a csapat azonos feltételekkel vizsgálhatja a hibát és a javítást. Éles felhasználói adatot természetesen nem szükséges egy hibajegybe másolni; megfelelő próbaadat készíthető.

A teszteszközök és a buildfolyamat segíthet a verziók összerendelésében, de a szervezési szabály fontosabb: ki módosíthatja az adatot, mikor tekintjük késznek a kiadási alapvonalat, és honnan tudjuk, mi települt. Ha két tesztelő ugyanazt a környezetet megosztja, a közben változó adatkészletet is kezelni kell.

Egy megbízható ellenőrzéshez a dokumentált elvárás, teszteset, automatikus szkript, telepített build és induló adatkészlet megfelelő változatát párosítjuk. A konfigurációkezelés a változásokat is követi: azonosítható, mikor melyik kapcsoló vagy adatbázis-séma volt érvényes. Ha a követelményt módosítják, a kapcsolódó tesztet felül kell vizsgálni.

A gyakorlatban a két tesztelő által közösen használt környezet könnyen megváltozhat a háttérben. Ha az egyikük felvett egy foglalást, a másik 19/20-as induló adata már nem igaz. A futtatáshoz ezért a telepített verzió és a tesztadat állapotának ellenőrzése ugyanúgy hozzátartozik, mint a lépések követése.