Benchmarking Symbian OS smartphones
Partanen, Heikki (2006)
Tiivistelmä
Diplomityön tarkoituksena oli luoda menetelmä Symbian-käyttöjärjestelmää
käyttävien älypuhelinten suorituskyvyn määrittämiseen, jotta laitteiden välisiä
eroja voitaisiin mitata.
Aluksi Symbian-käyttöjärjestelmää ja älypuhelinlaitteistoja tutkittiin
suorituskykyyn ja sen vaihteluun vaikuttavien tekijöiden ja osien löytämiseksi.
Tämän jälkeen kehitettiin useita testitapauksia sisältävä testikirjasto, jolla voitiin
mitata joidenkin suorituskykyyn vaikuttavien käyttöjärjestelmän rajapintojen
suoritusaikoja. Testikirjaston testit ajettiin kolmella eri älypuhelinmallilla, jotta
testien toimivuutta voitiin arvioida. Lopuksi testituloksia analysoitiin mahdollisten
pullonkaulojen havaitsemiseksi suorituskyvystä.
Testikirjaston pystyttiin havaitsemaan eroja laitteiden suorituskyvyssä.
Viimeisin, uudella Symbianin EKA2-ytimellä varustettu älypuhelin, Nokia E70,
jäi mittauksissa viimeiseksi, koska se pärjäsi huonosti muistinvarauksia ja
TRAP-poikkeuksia testaavissa tapauksissa. Muilla mitatuilla osa-alueilla se
kuitenkin päihitti selvästi muut testatut puhelimet, Nokia N90:n ja Nokia 6630:n.
Näiden kahden muun laitteen tulosten skaalan tasaisuus osoittaa, että kehitetyn
testikirjaston avulla saadaan johdonmukaisia ja uskottavia mittaustuloksia. The goal of this thesis was to develop a method for measuring the general
performance of smartphones running Symbian operating system so that
different devices could be compared.
First, Symbian OS itself and the hardware of smartphones were analyzedto
identify the essential software and hardware components that directly contribute
to devices' overall performance and possibly cause variance in it. Then a test
suite was implemented for benchmarking some of the performance-relevant
interfaces of Symbian OS. The benchmark suite was executed with three
smartphones to verify its validity. Finally the results of the benchmark were
analyzed to discover possible bottlenecks in performance.
The test suite found clear differences in the devices' performance. The newest
device with Symbians new EKA2 kernel, Nokia E70, was benchmarked to be
slowest because of its poor performance in memory allocation and TRAP
exception benchmarks. In other benchmarked areasit however outperformed its
rivals, Nokia N90 and Nokia 6630. The equal scale of results of these two other
devices confirmed that the test suite produces consistent and reliable results.
käyttävien älypuhelinten suorituskyvyn määrittämiseen, jotta laitteiden välisiä
eroja voitaisiin mitata.
Aluksi Symbian-käyttöjärjestelmää ja älypuhelinlaitteistoja tutkittiin
suorituskykyyn ja sen vaihteluun vaikuttavien tekijöiden ja osien löytämiseksi.
Tämän jälkeen kehitettiin useita testitapauksia sisältävä testikirjasto, jolla voitiin
mitata joidenkin suorituskykyyn vaikuttavien käyttöjärjestelmän rajapintojen
suoritusaikoja. Testikirjaston testit ajettiin kolmella eri älypuhelinmallilla, jotta
testien toimivuutta voitiin arvioida. Lopuksi testituloksia analysoitiin mahdollisten
pullonkaulojen havaitsemiseksi suorituskyvystä.
Testikirjaston pystyttiin havaitsemaan eroja laitteiden suorituskyvyssä.
Viimeisin, uudella Symbianin EKA2-ytimellä varustettu älypuhelin, Nokia E70,
jäi mittauksissa viimeiseksi, koska se pärjäsi huonosti muistinvarauksia ja
TRAP-poikkeuksia testaavissa tapauksissa. Muilla mitatuilla osa-alueilla se
kuitenkin päihitti selvästi muut testatut puhelimet, Nokia N90:n ja Nokia 6630:n.
Näiden kahden muun laitteen tulosten skaalan tasaisuus osoittaa, että kehitetyn
testikirjaston avulla saadaan johdonmukaisia ja uskottavia mittaustuloksia.
performance of smartphones running Symbian operating system so that
different devices could be compared.
First, Symbian OS itself and the hardware of smartphones were analyzedto
identify the essential software and hardware components that directly contribute
to devices' overall performance and possibly cause variance in it. Then a test
suite was implemented for benchmarking some of the performance-relevant
interfaces of Symbian OS. The benchmark suite was executed with three
smartphones to verify its validity. Finally the results of the benchmark were
analyzed to discover possible bottlenecks in performance.
The test suite found clear differences in the devices' performance. The newest
device with Symbians new EKA2 kernel, Nokia E70, was benchmarked to be
slowest because of its poor performance in memory allocation and TRAP
exception benchmarks. In other benchmarked areasit however outperformed its
rivals, Nokia N90 and Nokia 6630. The equal scale of results of these two other
devices confirmed that the test suite produces consistent and reliable results.