Visualization of communication system testing logs
Ahokas, Sampo (2010)
Diplomityö
Ahokas, Sampo
2010
Julkaisun pysyvä osoite on
https://urn.fi/URN:NBN:fi-fe201006031955
https://urn.fi/URN:NBN:fi-fe201006031955
Tiivistelmä
During the past decades testing has matured from ad-hoc activity into being an integral part of the development process. The benefits of testing are obvious for modern communication systems, which operate in heterogeneous environments amongst devices from various manufacturers. The increased demand for testing also creates demand for tools and technologies that support and automate testing activities. This thesis discusses applicability of visualization techniques in the result analysis part of the testing process.
Particularly, the primary focus of this work is visualization of test execution logs produced by a TTCN-3 test system. TTCN-3 is an internationally standardized test specification and implementation language. The TTCN-3 standard suite includes specification of a test logging interface and a graphical presentation format, but no immediate relationship between them. This thesis presents a technique for mapping the log events to the graphical presentation format along with a concrete implementation, which is integrated with the Eclipse Platform and the OpenTTCN Tester toolchain.
Results of this work indicate that for majority of the log events, a visual representation may be derived from the TTCN-3 standard suite. The remaining events were analysed and three categories relevant in either log analysis or implementation of the visualization tool were identified: events indicating insertion of something into the incoming queue of a port, events indicating a mismatch and events describing the control flow during the execution. Applicability of the results is limited into the domain of TTCN-3, but the developed mapping and the implementation may be utilized with any TTCN-3 tool that is able to produce the execution log in the standardized XML format. Testaus on vakiinnuttanut asemansa olennaisena osana tietoteknisten järjestelmien elinkaarta aina määrittelystä alkaen. Testauksen yleistyminen on luonut kysyntää myös testausprosessia tukeville ja automatisoiville teknologioille sekä työkaluille. Tämä diplomityö käsittelee visualisoinnin hyödyntämistä testitulosten analysointivaiheessa.
Erityisesti tässä työssä tarkastellaan TTCN-3-testijärjestelmän tuottaman lokin (tapahtumarekisteri) visualisointia. TTCN-3 on standardoitu testitapausten määrittely- ja toteutuskieli. TTCN-3-standardisarja määrittelee rajapinnan, jonka kautta testijärjestelmä tarjoaa lokitapahtumat sekä graafisen esitysmuodon lähdekoodille, mutta suoraa vastaavuutta yksittäisten lokitapahtumien ja graafiseen esitysmuodon välillä ei ole määritelty. Tämä työ esittää menetelmän lokitapahtumien muuntamiseksi graafiseen esitysmuotoon. Työssä esitellään myös ohjelmistokomponentti, joka toteuttaa TTCN-3-lokien visualisoinnin integroituna OpenTTCN Tester-työkaluun ja Eclipse-ympäristöön.
Työn tulokset osoittavat, että TTCN-3-standardisarjasta löytyy sopiva graafinen esitys suurimmalle osalle lokitapahtumista. Jäljelle jäävät lokitapahtumat analysoitiin ja niistä tunnistettiin kolme testitulosten analysoinnin tai visualisointityökalun kannalta merkityksellistä ryhmää: portin viestijonoon lisäyksestä kertovat tapahtumat, niin kutsutut mismatch-tapahtumat sekä suorituksen etenemisestä kertovat tapahtumat. Tulosten sovellettavuus rajoittuu TTCN-3-ympäristöön, mutta tuloksena syntynyt menetelmä sekä työkalu soveltuvat käytettäväksi kaikkien standardinmukaista XML-muotoista TTCN-3-testauslokia tuottavien työkalujen kanssa.
Particularly, the primary focus of this work is visualization of test execution logs produced by a TTCN-3 test system. TTCN-3 is an internationally standardized test specification and implementation language. The TTCN-3 standard suite includes specification of a test logging interface and a graphical presentation format, but no immediate relationship between them. This thesis presents a technique for mapping the log events to the graphical presentation format along with a concrete implementation, which is integrated with the Eclipse Platform and the OpenTTCN Tester toolchain.
Results of this work indicate that for majority of the log events, a visual representation may be derived from the TTCN-3 standard suite. The remaining events were analysed and three categories relevant in either log analysis or implementation of the visualization tool were identified: events indicating insertion of something into the incoming queue of a port, events indicating a mismatch and events describing the control flow during the execution. Applicability of the results is limited into the domain of TTCN-3, but the developed mapping and the implementation may be utilized with any TTCN-3 tool that is able to produce the execution log in the standardized XML format.
Erityisesti tässä työssä tarkastellaan TTCN-3-testijärjestelmän tuottaman lokin (tapahtumarekisteri) visualisointia. TTCN-3 on standardoitu testitapausten määrittely- ja toteutuskieli. TTCN-3-standardisarja määrittelee rajapinnan, jonka kautta testijärjestelmä tarjoaa lokitapahtumat sekä graafisen esitysmuodon lähdekoodille, mutta suoraa vastaavuutta yksittäisten lokitapahtumien ja graafiseen esitysmuodon välillä ei ole määritelty. Tämä työ esittää menetelmän lokitapahtumien muuntamiseksi graafiseen esitysmuotoon. Työssä esitellään myös ohjelmistokomponentti, joka toteuttaa TTCN-3-lokien visualisoinnin integroituna OpenTTCN Tester-työkaluun ja Eclipse-ympäristöön.
Työn tulokset osoittavat, että TTCN-3-standardisarjasta löytyy sopiva graafinen esitys suurimmalle osalle lokitapahtumista. Jäljelle jäävät lokitapahtumat analysoitiin ja niistä tunnistettiin kolme testitulosten analysoinnin tai visualisointityökalun kannalta merkityksellistä ryhmää: portin viestijonoon lisäyksestä kertovat tapahtumat, niin kutsutut mismatch-tapahtumat sekä suorituksen etenemisestä kertovat tapahtumat. Tulosten sovellettavuus rajoittuu TTCN-3-ympäristöön, mutta tuloksena syntynyt menetelmä sekä työkalu soveltuvat käytettäväksi kaikkien standardinmukaista XML-muotoista TTCN-3-testauslokia tuottavien työkalujen kanssa.