Tutkielmassa arvioidaan Google Kääntäjä -konekäännösohjelman kykyä kääntää japania suomeksi. Konekäännöksen manuaalisen eli ihmisen suorittaman evaluaation keinoin selvitetään kuinka lähelle laatustandardina pidettyä ihmiskäännöstä nykyinen Google Kääntäjän konekäännös yltää japanista suomeen käännettäessä.
Neuroverkkoa hyödyntävien konekäännösjärjestelmien läpimurto 2016 on parantanut konekäännösten laatua huomattavasti. Neuroverkkoja hyödyntävän Google Kääntäjän nykyistä japani-suomi-käännösten laatua arvioitiin kolmen arkipäiväisen tekstin aineistolla kyselytutkimuksen muodossa. Laatua arvioitiin manuaalisen konekäännöksen evaluaation keinoin eli pilkkomalla laatu kielen ymmärrettävyyden, kieliopillisuuden ja sisällön säilymisen ulottuvuuksiin. Jokainen arvioitava ulottuvuus pisteytettiin asteikolla 1–5 ja konekäännöksen arvosanoja verrattiin saman aineiston ihmiskäännösten arvosanoihin.
Tutkimuksen mukaan Google Kääntäjän käännökset saivat kieliopillisuudesta matalimmat pisteet eli keskimäärin 2,6 pistettä asteikolla 1–5. Ihmiskäännösten kieliopillisuuden keskiarvo oli 4,5 pistettä. Google-käännösten ymmärrettävyyden keskiarvo oli 3,3 pistettä verrattuna ihmiskäännösten ymmärrettävyyden 4,8 pisteeseen. Google-käännösten sisällön säilymisen keskiarvo oli 3,1 pistettä verrattuna ihmiskäännösten 4,7 pisteeseen.
Google-käännöksistä siis edes puolet ei ole kieliopillisesti sujuvaa kieltä. Google Kääntäjää ja muita online-konekääntimiä käytetään yleisimmin vieraalla kielellä kirjoitettujen verkkosivujen sisällön ymmärtämiseen. Merkityksen riittävä välittyminen on tässä tarkoituksessa käännöksen kieliopillisuutta tärkeämpää. Tutkimuksen mukaan Google-käännösten kielestä ymmärtää vähän yli puolet ja alkuperäisen tekstin sisällöstä on säilynyt noin puolet.
