Browsing by Subject "dokumenttien luokittelu"

Dokumenttien luokittelua eli tekstin aihepiirin automaattista tunnistusta on aikaisemmin sovellettu pääasiassa englanninkielisiin dokumentteihin. Tutkimuksen tarkoituksena oli mahdollistaa suomenkielisiä lehtiartikkeleita luokittelevan ohjelman kehittäminen. Tutkielma alkaa lyhyellä katsauksella aikaisempaan tutkimukseen. Pääaiheena on kolmen ohjattuun oppimiseen perustuvan luokittelualgoritmin (naiivin Bayesin luokittimen, tasapainotetun Winnow+:n ja assosiaatiosääntöjen) vertailu Helsingin Sanomien aineiston avulla. Dokumenttien esikäsittelyyn ja luokittelupiirteiden valintaan käytetään FINCG-nimistä suomen kielen jäsennysohjelmaa. Parhaiten toimivaksi vaihtoehdoksi osoittautui perusmuotoon palautettuja substantiiveja käyttävä naiivi Bayesin luokitin.