Browsing by Subject "neuroverkot"
Now showing items 1-7 of 7
-
Comparative analysis of prosodic characteristics of dialects of the English language using WaveNet (2023)The purpose of this thesis is to examine the prosodic features of English dialects using WaveNet. The exact goal is to investigate whether the differences in prosody between the dialects are present in the data and the results, and whether the geographical distance between the cities included in the data has any influence on this. Another aim is to see how the prosodic features of the sentence types present in the data and their possible differences are manifested in the data and the results. Prosody is concerned with those characteristics of speech which cover more than just individual sounds. Prosodic features can further be divided into paralinguistic features, such as the rate of speech and pausing, and linguistic features, like intonation. Parameters useful for analysing prosody are fundamental frequency (f0), intensity and voice quality – we are interested in the first two. Fundamental frequency is the speed of the vibration of the vocal folds while speaking. Intensity in turn is connected to the changes of air pressure while speaking. The data used for this study is the IViE corpus (Intonational Variation in English), comprising of recordings done in nine British cities – Belfast, Bradford, Cambridge, Cardiff, Dublin, Leeds, Liverpool, London and Newcastle, with approximately 12 speakers per city. In three of the cities, Bradford, Cardiff and London, the dialect is that of a minority. The part of the corpus chosen for this study is a set of 22 sentences consisting of five sentence types. The analysis was performed using WaveNet, a convolutional neural network. It uses causal convolutions to ensure the data is processed correctly. In addition to being conditioned on the output of the network itself, it can also be conditioned using embeddings. The WaveNet implementation used here has two embedding layers – target and normalisation embeddings. Before the analysis the data was pre-processed and the relevant information concerning the fundamental frequency and intensity were extracted from the sound files. A corresponding *.time file was also created for each of the sound files, with the aim of minimising the influence of the possible differences in length between sentences and thus improve the network's ability to recognise the intonation contours correctly. The results are presented in the form of dendrograms, depicting the relationships between the dialects and sentence types – both separately and as a combination of the dialects and sentence types. It was shown, that the differences in prosody were in fact manifested in the data for both dialects and sentence types, although not exactly as expected. The geographical proximity did not seem to influence the dialectal similarities as much as was assumed – in addition to other influences this might also be due to some of the dialects being minority dialects in the cities, and therefore not necessarily so easily comparable to the dialects of the neighbouring area as the majority dialects might have been.
-
Comparative analysis of prosodic characteristics of dialects of the English language using WaveNet (2023)The purpose of this thesis is to examine the prosodic features of English dialects using WaveNet. The exact goal is to investigate whether the differences in prosody between the dialects are present in the data and the results, and whether the geographical distance between the cities included in the data has any influence on this. Another aim is to see how the prosodic features of the sentence types present in the data and their possible differences are manifested in the data and the results. Prosody is concerned with those characteristics of speech which cover more than just individual sounds. Prosodic features can further be divided into paralinguistic features, such as the rate of speech and pausing, and linguistic features, like intonation. Parameters useful for analysing prosody are fundamental frequency (f0), intensity and voice quality – we are interested in the first two. Fundamental frequency is the speed of the vibration of the vocal folds while speaking. Intensity in turn is connected to the changes of air pressure while speaking. The data used for this study is the IViE corpus (Intonational Variation in English), comprising of recordings done in nine British cities – Belfast, Bradford, Cambridge, Cardiff, Dublin, Leeds, Liverpool, London and Newcastle, with approximately 12 speakers per city. In three of the cities, Bradford, Cardiff and London, the dialect is that of a minority. The part of the corpus chosen for this study is a set of 22 sentences consisting of five sentence types. The analysis was performed using WaveNet, a convolutional neural network. It uses causal convolutions to ensure the data is processed correctly. In addition to being conditioned on the output of the network itself, it can also be conditioned using embeddings. The WaveNet implementation used here has two embedding layers – target and normalisation embeddings. Before the analysis the data was pre-processed and the relevant information concerning the fundamental frequency and intensity were extracted from the sound files. A corresponding *.time file was also created for each of the sound files, with the aim of minimising the influence of the possible differences in length between sentences and thus improve the network's ability to recognise the intonation contours correctly. The results are presented in the form of dendrograms, depicting the relationships between the dialects and sentence types – both separately and as a combination of the dialects and sentence types. It was shown, that the differences in prosody were in fact manifested in the data for both dialects and sentence types, although not exactly as expected. The geographical proximity did not seem to influence the dialectal similarities as much as was assumed – in addition to other influences this might also be due to some of the dialects being minority dialects in the cities, and therefore not necessarily so easily comparable to the dialects of the neighbouring area as the majority dialects might have been.
-
(2019)Hintavakauden saavuttamisesta on tullut keskuspankkien tärkeimpiä tehtäviä kaikkialla maailmassa, ja useat keskuspankit pyrkivät tiettyyn, hyvin määriteltyyn inflaatiotavoitteeseen. Samoin Euroopan keskuspankki pyrkii rahapolitiikallaan pitämään inflaation kahden prosentin tuntumassa. Inflaatiotavoite kuitenkin vaatii sen, että inflaatiota voidaan ennustaa mahdollisimman tarkasti. Koneoppimismetodeihin kuuluvat neuroverkkomallit ovat osoittautuneet olemaan monilla aloilla hyviä ennustemalleja. Inflaation ennustamisessa neuroverkkomallien tulokset ovat kuitenkin olleet ristiriitaisia. Aiempi tutkimus inflaation ennustamisesta on myös keskittynyt lähinnä Yhdysvaltojen ja muiden yksittäisten maiden inflaatioon. Tutkimusta ei ole myöskään tehty inflaation ennustamisesta eri suhdannetilanteissa neuroverkkomallien avulla. Tässä tutkielmassa tutkittiinkin neuroverkkomallin kykyä ennustaa inflaatiota koko euroalueella vuosien 2008-2009 taantuman aikana. Tutkielman aineistona käytettiin euroalueen harmonisoidusta kuluttajahintaindeksistä muodostettua inflaatioaikasarjaa vuosilta 1997-2010. Tutkielmassa epälineaarinen neuroverkko rakennettiin aiemmasta kirjallisuudesta vakiintuneella metodilla, jossa mallin valinta suoritettiin käyttämällä erillistä aineistoa. Valitulla mallilla simuloitiin aitoa ennustetilannetta käyttämällä euroalueen taantuman aikaista testiaineistoa. Ennusteet tehtiin myös taantuman jälkeiselle noususuhdanteelle, jotta eri suhdannetilanteita voitiin vertailla. Lisäksi samat ennusteet tehtiin ekonometriassa vakiintuneella lineaarisella mallilla, johon neuroverkkomallia verrattiin käyttämällä aiemmasta kirjallisuudesta tuttuja arviointikriteerejä ja tilastollisia testejä. Tutkielmassa selvisi, että neuroverkkomalli tuottaa hyvin tarkkoja ennusteita inflaatiolle kaikilla tutkielmassa käytetyillä ennusteväleillä. Neuroverkkomallin ennusteet ovat myös parempia, jos käytettävä aineisto on kausitasoitettu. Neuroverkkomalli tekee pienempiä ennustevirheitä noususuhdanteen aikana kuin taantumassa, mutta erot eri suhdannetilanteissa eivät ole kovin suuria. Neuroverkkomallin ennusteet eivät kuitenkaan poikkea yksinkertaisen lineaarisen mallin tekemistä ennusteista tilastollisesti merkitsevästi kummassakaan suhdannetilanteessa. Näin ollen neuroverkkomallin ei voida päätellä toimivan eri tavalla taloudellisessa taantumassa kuin muissa suhdannetilanteissa. Tutkielman tulosten perusteella neuroverkkomallia ei voida suositella keskuspankkien inflaatioennustemalliksi, koska mallin valinta ja testaaminen vievät yksinkertaista lineaarista mallia enemmän aikaa, mutta ennustetulokset eivät ole lineaarista mallia parempia. Tulokset antavatkin todisteita siitä, että inflaatio on euroalueella lineaarinen prosessi, jolloin epälineaariset mallit eivät tuota ennusteisiin lisähyötyä. Neuroverkkomallit voivat kuitenkin antaa hyvän työkalun keskuspankkien toiminnan arvioimiseen, koska niiden tuottamat ennusteet ovat tarkkoja pitemmillekin aikaväleille.
-
(2019)Hintavakauden saavuttamisesta on tullut keskuspankkien tärkeimpiä tehtäviä kaikkialla maailmassa, ja useat keskuspankit pyrkivät tiettyyn, hyvin määriteltyyn inflaatiotavoitteeseen. Samoin Euroopan keskuspankki pyrkii rahapolitiikallaan pitämään inflaation kahden prosentin tuntumassa. Inflaatiotavoite kuitenkin vaatii sen, että inflaatiota voidaan ennustaa mahdollisimman tarkasti. Koneoppimismetodeihin kuuluvat neuroverkkomallit ovat osoittautuneet olemaan monilla aloilla hyviä ennustemalleja. Inflaation ennustamisessa neuroverkkomallien tulokset ovat kuitenkin olleet ristiriitaisia. Aiempi tutkimus inflaation ennustamisesta on myös keskittynyt lähinnä Yhdysvaltojen ja muiden yksittäisten maiden inflaatioon. Tutkimusta ei ole myöskään tehty inflaation ennustamisesta eri suhdannetilanteissa neuroverkkomallien avulla. Tässä tutkielmassa tutkittiinkin neuroverkkomallin kykyä ennustaa inflaatiota koko euroalueella vuosien 2008-2009 taantuman aikana. Tutkielman aineistona käytettiin euroalueen harmonisoidusta kuluttajahintaindeksistä muodostettua inflaatioaikasarjaa vuosilta 1997-2010. Tutkielmassa epälineaarinen neuroverkko rakennettiin aiemmasta kirjallisuudesta vakiintuneella metodilla, jossa mallin valinta suoritettiin käyttämällä erillistä aineistoa. Valitulla mallilla simuloitiin aitoa ennustetilannetta käyttämällä euroalueen taantuman aikaista testiaineistoa. Ennusteet tehtiin myös taantuman jälkeiselle noususuhdanteelle, jotta eri suhdannetilanteita voitiin vertailla. Lisäksi samat ennusteet tehtiin ekonometriassa vakiintuneella lineaarisella mallilla, johon neuroverkkomallia verrattiin käyttämällä aiemmasta kirjallisuudesta tuttuja arviointikriteerejä ja tilastollisia testejä. Tutkielmassa selvisi, että neuroverkkomalli tuottaa hyvin tarkkoja ennusteita inflaatiolle kaikilla tutkielmassa käytetyillä ennusteväleillä. Neuroverkkomallin ennusteet ovat myös parempia, jos käytettävä aineisto on kausitasoitettu. Neuroverkkomalli tekee pienempiä ennustevirheitä noususuhdanteen aikana kuin taantumassa, mutta erot eri suhdannetilanteissa eivät ole kovin suuria. Neuroverkkomallin ennusteet eivät kuitenkaan poikkea yksinkertaisen lineaarisen mallin tekemistä ennusteista tilastollisesti merkitsevästi kummassakaan suhdannetilanteessa. Näin ollen neuroverkkomallin ei voida päätellä toimivan eri tavalla taloudellisessa taantumassa kuin muissa suhdannetilanteissa. Tutkielman tulosten perusteella neuroverkkomallia ei voida suositella keskuspankkien inflaatioennustemalliksi, koska mallin valinta ja testaaminen vievät yksinkertaista lineaarista mallia enemmän aikaa, mutta ennustetulokset eivät ole lineaarista mallia parempia. Tulokset antavatkin todisteita siitä, että inflaatio on euroalueella lineaarinen prosessi, jolloin epälineaariset mallit eivät tuota ennusteisiin lisähyötyä. Neuroverkkomallit voivat kuitenkin antaa hyvän työkalun keskuspankkien toiminnan arvioimiseen, koska niiden tuottamat ennusteet ovat tarkkoja pitemmillekin aikaväleille.
-
(2022)Automatic question answering and question generation are two closely related natural language processing tasks. They both have been studied for decades, and both have a wide range of uses. While systems that can answer questions formed in natural language can help with all kinds of information needs, automatic question generation can be used, for example, to automatically create reading comprehension tasks and improve the interactivity of virtual assistants. These days, the best results in both question answering and question generation are obtained by utilizing pre-trained neural language models based on the transformer architecture. Such models are typically first pre-trained with raw language data and then fine-tuned for various tasks using task-specific annotated datasets. So far, no models that can answer or generate questions purely in Finnish have been reported. In order to create them using modern transformer-based methods, both a pre-trained language model and a sufficiently big dataset suitable for question answering or question generation fine-tuning are required. Although some suitable models that have been pre-trained with Finnish or multilingual data are already available, a big bottleneck is the lack of annotated data needed for fine-tuning the models. In this thesis, I create the first transformer-based neural network models for Finnish question answering and question generation. I present a method for creating a dataset for fine-tuning pre-trained models for the two tasks. The dataset creation is based on automatic translation of an existing dataset (SQuAD) and automatic normalization of the translated data. Using the created dataset, I fine-tune several pre-trained models to answer and generate questions in Finnish and evaluate their performance. I use monolingual BERT and GPT-2 models as well as a multilingual BERT model. The results show that the transformer architecture is well suited also for Finnish question answering and question generation. They also indicate that the synthetically generated dataset can be a useful fine-tuning resource for these tasks. The best results in both tasks are obtained by fine-tuned BERT models which have been pre-trained with only Finnish data. The fine-tuned multilingual BERT models come in close, whereas fine-tuned GPT-2 models are generally found to underperform. The data developed for this thesis will be released to the research community to support future research on question answering and generation, and the models will be released as benchmarks.
-
(2022)Automatic question answering and question generation are two closely related natural language processing tasks. They both have been studied for decades, and both have a wide range of uses. While systems that can answer questions formed in natural language can help with all kinds of information needs, automatic question generation can be used, for example, to automatically create reading comprehension tasks and improve the interactivity of virtual assistants. These days, the best results in both question answering and question generation are obtained by utilizing pre-trained neural language models based on the transformer architecture. Such models are typically first pre-trained with raw language data and then fine-tuned for various tasks using task-specific annotated datasets. So far, no models that can answer or generate questions purely in Finnish have been reported. In order to create them using modern transformer-based methods, both a pre-trained language model and a sufficiently big dataset suitable for question answering or question generation fine-tuning are required. Although some suitable models that have been pre-trained with Finnish or multilingual data are already available, a big bottleneck is the lack of annotated data needed for fine-tuning the models. In this thesis, I create the first transformer-based neural network models for Finnish question answering and question generation. I present a method for creating a dataset for fine-tuning pre-trained models for the two tasks. The dataset creation is based on automatic translation of an existing dataset (SQuAD) and automatic normalization of the translated data. Using the created dataset, I fine-tune several pre-trained models to answer and generate questions in Finnish and evaluate their performance. I use monolingual BERT and GPT-2 models as well as a multilingual BERT model. The results show that the transformer architecture is well suited also for Finnish question answering and question generation. They also indicate that the synthetically generated dataset can be a useful fine-tuning resource for these tasks. The best results in both tasks are obtained by fine-tuned BERT models which have been pre-trained with only Finnish data. The fine-tuned multilingual BERT models come in close, whereas fine-tuned GPT-2 models are generally found to underperform. The data developed for this thesis will be released to the research community to support future research on question answering and generation, and the models will be released as benchmarks.
-
(2022)Tavoitteet. Puhevammaiset henkilöt muodostavat heterogeenisen ryhmän ihmisiä, joilla on yksilöllisiä kykyjä ja tarpeita. Yksilöllisesti sopivaa apuvälinettä ei ole aina saatavilla vastaamaan kommunikoinnin tarpeita, ja apuvälineen käyttöön voi liittyä hitautta ja turhautumisen tunnetta. Tekoälyteknologian levittäytyminen terveydenhuollon palveluihin on ollut käynnissä jo useita vuosia, ja sen hyödyntämistä on tutkittu myös teknisissä kommunikoinnin apuvälineissä. Apuvälineiden kehitystyössä tarvitaan moniammatillista yhteistyötä, jotta apuvälineet voisivat onnistuneesti siirtyä kliiniseen käyttöön, näyttöön perustuvan toiminnan periaatteiden mukaisesti. Tämän tutkielman tarkoituksena oli tutkia, millaisia koneoppimista tai syväoppimista hyödyntäviä teknisiä kommunikoinnin apuvälineitä on tutkittu, ja miten näissä apuvälineissä huomioitiin käytettävyyden näkökulma. Lisäksi tutkittiin, millä tavalla moniammatillisuus ilmeni tutkimusta tehneissä tutkimusryhmissä. Menetelmät. Tutkielman menetelmänä käytettiin integroivaa kirjallisuuskatsausta, ja tiedonhaku suoritettiin Scopus ja OVID Medline -tietokannoissa. Hakutuloksien otsikossa, tiivistelmässä tai avainsanoissa esiintyi niin kommunikoinnin apuvälineisiin, tekoälyn osa-alueista koneoppimiseen ja syväoppimiseen, sekä apuvälineiden käytettävyyteen liittyviä hakutermejä. Tutkimusaineisto koostui viidestä vertaisarvioidusta artikkelista vuosilta 2019–2022, ja ne esittelivät kehitteillä olevia teknisiä kommunikoinnin apuvälineitä tai kokeellisessa vaiheessa olevia apuvälinekonsepteja. Tulokset ja johtopäätökset. Tutkielmassa tarkasteltiin viittä kokeellisessa vaiheessa olevaa teknistä kommunikoinnin apuvälinettä tai apuvälinekonseptia. Näissä apuvälineissä koneoppimista, syväoppimista tai siirto-oppimista hyödynnettiin tulkitsemaan apuvälineen käyttäjän tuottamaa syötettä kommunikointitarkoituksessa. Apuvälineiden käytettävyyttä arvioitiin kuuden käytettävyysperiaatteen näkökulmasta. Käytettävyys huomioitiin suurimmassa osassa tutkimuksia kohtalaisesti. Tutkittujen apuvälineiden taustalla oli yhtä tutkimusta lukuun ottamatta insinöörivetoinen tutkimusryhmä, jolloin moniammatillinen yhteistyö ei toteutunut. Jatkotutkimusaiheeksi tunnistettiin apuvälinetekniikan moniammatillisen kehitysyhteistyön mahdollistavien tekijöiden kartoittaminen, jotta kehittyvän teknologian tarjoamat mahdollisuudet voidaan saada yhä laajemmin apuvälinetekniikan käyttöön.
Now showing items 1-7 of 7