Browsing by Subject "hyperparametrioptimointi"

Sanavektoreita, eli eräänlaista sanakirjaa, jossa sanan määritelmänä on piste moniulotteisessa avaruudessa, voidaan käyttää useissa luonnollisen kielen tehtävissä hyvin tuloksin. Ne ovat suhteellisen yksinkertainen rakenne, joissa vektoriin koodautuu ison tekstiaineiston lauseiden katkelmista otetuista esimerkeistä sanojen suoraa ja epäsuoraa samankaltaisuutta. Tuoreempi sanavektoreiden muunnelma nimeltä FastText voi toimia paremmin runsaasti taipuville ja niukemmin lähdeaineistoa tarjoaville kielille kuten suomen kielelle. Sanavektorien laatu ja toimivuus riippuu käytetyistä hyperparametreista, joten näiden valinta pitäisi tehdä taiten. Tässä työssä tutkitaan hyperparametrien valintaprosessia nimenomaan suomenkielisten upotusten osalta. Tutkielmassa valmistellaan ainutkertainen aineisto, esiopetetaan sanavektorit ja optimoidaan algoritmien käyttämät hyperparametrit arvioimalla tuotettujen sanavektoreiden toimintaa neljässä eri tehtävässä. Lisäksi työssä huomioidaan aineistolisenssien vaikutuksia ja tekoälyyn liittyvää etiikkaa sekä kehitetään uusia tapoja havainnollistaa 10-ulotteisen hyperparametriavaruuden parhaiten toimivia alueita. Yksittäinen arviointiajo voi kestää pitkään, jopa kuukausia yhden ytimen suoritusaikaa, joten hyperparametrioptimointia tehtiin mahdollisimman aika- ja kokeilumäärätehokkaasti käyttämällä Bayesian Optimization-menetelmiä. Tutkielmassa optimoitiin myös metaparametrit eli hyperparametrioptimoinnin käyttämät omat hyperparametrit. Tutkielman keskeiset tulokset ovat, että suomenkieliset sanavektorit voidaan muodostaa ja niitä voidaan optimoida hyperparametreilla, jolloin ne toimivat suomen kielellä paremmin, ja moniulotteisten hyperparametrien tulkinta helpottuu uusilla kuvaustavoilla. Arvioinnit antavat käsitystä sanavektorien toimivuudesta suomenkielisissä tehtävissä, mutta lisätutkimus valaisisi millaisissa tehtävissä sanavektorit epäonnistuvat sekä antaisi eväitä tehdä parempia tehtäviä, jotka testaisivat vielä paremmin niiden suoriutumista erityisesti suomen kielen erityispiirteiden kannalta.