Käyttöliittymän arviointimenetelmät voidaan jakaa kahteen eri kategoriaan: asiantuntija-arviointeihin ja empiirisiin menetelmiin. Asiantuntija-arvioinnit suorittaa käytettävyysasiantuntija, kun taas empiirisiin menetelmissä tarkastellaan testikäyttäjien tapaa käyttää testattavaa järjestelmää. Tässä tutkielmassa käsitellään kognitiivisista läpikäyntiä, simulointitestausta, käytettävyysläpikäyntiä ja käytettävyystestausta. Näistä menetelmistä kaksi ensimmäistä sijoittuu asiantuntija-arviointeihin ja kaksi jälkimmäistä empiirisiin käyttäjätesteihin.
Tutkielmassa vertaillaan, millaisia käytettävyysongelmia arviointimenetelmillä löydetään. Lisäksi tutkitaan sitä, onko yhdellä menetelmällä löytynyttä käytettävyysongelmaa edes mahdollista löytää muilla menetelmillä. Vertailu tehdään suorittamalla kaikki menetelmät samaa testitehtävää käyttäen. Arvioinnin kohteena käytetään Matkahuollon ja VR:n verkkosivustoja.
Arviointimenetelmillä löytyneet käytettävyysongelmat jaotellaan opittavuusongelmiin, turhaa kognitiivista työtä vaatineisiin ongelmiin, turhaa mekaanista työtä vaatineisiin ongelmiin, puuttuvaan toiminnallisuuteen liittyviin ongelmiin, tietosisällön aukkoihin liittyviin ongelmiin ja muihin ongelmiin. Työssä arvioidaan, olisiko yksittäinen ongelma mahdollista löytää muilla menetelmillä. Tutkielmassa vertaillaan, millaisia ongelmia löydettiin usealla menetelmällä. Lisäksi työssä käsitellään vain yhdellä arviointimenetelmällä löytyneitä ongelmia.
Tutkielman tulosten perusteella voidaan todeta, että arviointiemenetelmillä on omat vahvuusalueensa. Kognitiivinen läpikäynti, käytettävyysläpikäynti ja käytettävyystesti auttavat opittavuusongelmien löytämisessä, kun taas simulointitestauksella voidaan paikantaa pääasiassa turhaan työhön liittyviä ongelmia. Useilla arviointimenetelmillä voidaan löytää samoja ongelmia, mutta kaikilla menetelmillä löydettiin testeissä sellaisia ongelmia, joita ei muiden menetelmien suorituksen aikana kohdattu.
ACM Computing Classification System (CCS):
Human-centered computing → HCI design and evaluation methods
