Browsing by discipline "Statistics"

In this thesis the main idea is analyse bacterial data obtained with specific technology called phenotype microarrays. The goal is to implement statistical methods and model cell respiration over period of 48 hours. The data are a bacterium called yersinia enterocolitica, which is a pathogen mainly carried by animals. Data was originally published in a scientific journal called Proceedings of the National Acedemy of Sciences of the United States of America and a small part of strain was chosen for thesis. Data consists about 110 000 rows of observations and it is divided to two experimental setups that are tested in two different temperatures. Data analysis consists three steps: cluster analysis, data normalization and comparing experimental setups. Statistical methods used are k-means clustering, Michaelis-Menten kinetics for growth curves, linear mixed effects models, restricted maximum likelihood estimation, random walk Metropolis-Hastings algorithm and highest posterior density intervals. Main results are there is a recognizable cluster for substrates implying grow and there are no differences between experimental setups. In conclusion statistical methods used in thesis are satisfactory for modelling data and while there are noticeable clusters, there lies no differences between experimental setups. In further analyses it should be better to include more experimental setups in one analysis.

Modern day technology and computational power have allowed a large scale investigation of the human epigenome. Out of the epigenetic modifications, DNA methylation is of particular interest, since it is relatively easy to measure and very common in the DNA. A methylation site is a region of the DNA sequence that shows variation in the DNA methylation between individuals. Epigenome-wide association studies (EWAS) examine the interaction between these methylation sites one at a time and a specific human trait or an enviromental exposure. EWAS studies are, however, limited by low statistical power and problems related to multiple testing. To counter these issues, polygenic methylation scores have been developed to aggregate information over many methylation sites. These scores have two main applications. First is to formulate new hypotheses to explain human trait variation. Second one is to indicate unobserved environmental factors in cohort based studies or to predict individual developmental or disorder related outcomes. At the beginning of this thesis there is an introduction to epigenetics, to EWAS and polygenic methylation scores and to their genetic counterparts, genome-wide association studies (GWAS) and polygenic risk scores (PRS). Much of the methodology relating to the methylation scores is borrowed from GWAS and PRS. Some statistical properties of the methylation scores are derived in this thesis with focus on how the statistical power of detecting true association between a phenotype and human DNA methylation depends on the make up of the methylation scores. The theoretical derivations are tested through simulations. This thesis also examines how methylation scores may be calculated in practice using cross-validation and correlation reduction procedure called clumping. The methodology is applied to a Finnish cohort from the prediction and prevention of preeclampsia and intrauterine growth restriction study (Predo). The comparison of theoretical and observed statistical power in the simulations show that the theoretical and observed power correspond well to each other. In the practical analyses conducted using the DNA methylation data set and phenotype data of the Predo cohort and a maternal body-mass index (BMI) EWAS data, a clear piece of evidence of association of maternal pre-pregnancy BMI and offspring DNA methylation is found. The results support the growing evidence for the applicability of methylation scores in indicating prenatal environmental factors from the DNA methylation of the offspring.

The major concern of lenders is to answer the next question: 'Who we lend to?' Until 1970s the traditional schema was used to answer this question. Traditional credit assessment relied on 'gut feel', which means that a bank clerk or manager analyses a borrower's character, collateral and ability to repay. Also, some recommendations from the borrower's employer or previous lender are used. The alternative approach is credit scoring, which is a new way to approach a customer. Credit scoring is one of the most successful applications of statistics in finance and banking industry today. It lowers the cost and time of application processing and gives flexibility in making trade off between risk and sales for financial institution. Credit scorecards are essential instruments in credit scoring. They are based on the past performance of customers with characteristics similar to a new customer. So, the purpose of a credit scorecard is to predict risk, not to explain reasons behind it. The purpose of this work is to review credit scoring and its applications both theoretically and empirically, and to end up with the best combination of variables used for default risk forecasting. The first part of the thesis is focused on theoretical aspects of credit scoring - statistical method for scorecard estimation and measuring scorecard's performance. Firstly, I explain the definition of the scorecard and underlying terminology. Then I review the general approaches for scorecard estimation and demonstrate that logistic regression is the most appropriate approach. Next, I describe methods used for measuring the performance of the estimated scorecard and show that scoring systems would be ranked in the same order of discriminatory power regardless the measure used. The goal of the second part is empirical analysis, where I apply the theoretical background discussed in the first part of the master's thesis to a data set from a consumer credit bank, which includes variables obtained from the application forms and from credit bureau data, and extracted from social security numbers. The major finding of the thesis is that that the estimated statistical model is found to perform much better than a non-statistical model based on rational expectations and managers' experience. This means that banks and financial institutions should benefit from the introduction of the statistical approach employed in the thesis.

Personalised medicine involves the use of individual information to determine the best medical treatment. Such information include the historical health records of the patient. In this thesis, the records used are part of the Finnish Hospital Discharge Register. This information is utilized to identify disease trajectories for individuals for the FINRISK cohorts. The techniques usually implemented to analyse longitudinal register data use Markov chains because of their capability to capture temporal relations. In this thesis a first order Markov chain is used to feed the MCL algorithm that identifies disease trajectories. These trajectories highlight the most prevalent diseases in the Finnish population: circulatory diseases, neoplasms and musculoskeletal disorders. Also, they defined high level interactions between other diseases, some of them showing an agreement with physiological interactions widely studied. For example, circulatory diseases and their thoroughly studied association with symptoms from the metabolic syndrome.

Text mining methods provide a solution to the task of extracting relevant information from large text datasets. These methods can be applied to extract the relevant parts of Suomi24 internet health discussion to analyze how people discuss and negotiate their health through words, which represents medication or symptoms. Semantic similarities between these two concepts can be examined by learning the word vector representations from data and exploring the vector space using Word2Vec, a popular word embedding method. This thesis reviews how the training of word similarity models is affected by increasing corpus size using text retrieval methods.The effects of corpus size are examined by comparing the measured cosine similarity distances between word vectors representations in two different vector spaces. Word vector representations are learned using two different sized corpora. The first corpus includes only messages from the health discussion area of Suomi24. The second corpus includes the same messages as the first corpus, but also messages from other discussion areas, which include health related words. Cosine similarities are evaluated on using concept vocabularies including relevant health related words. Increasing the number of training examples by almost 30% did not have a drastic effect on the qualities of the training data. The results did not indicate a distinct connection between corpus size and the measured cosine similarity distances between word vector representations of health related words.

Failures in the drinking water distribution system often cause gastrointestinal outbreaks associated with multiple pathogens. We investigated a community-wide waterborne outbreak using a polyphasic approach combining advanced epidemiological, statistical, spatial and microbiological methods. A water pipeline breakage due to construction works occurred in the water distribution line in Vuorela, Eastern Finland on July 4th 2012. Two weeks later, gastrointestinal illness in the community increased and immediate control measures were implemented. Of 2931 inhabitants of the defined outbreak area, a total of 473 (16 %) responded to the web-based questionnaire. Samples from patients and water were analyzed for multiple microbial targets, subjected to appropriate molecular typing and microbial community analysis. We developed a method that enabled us to calculate the distance between the water pipe line breakage point and inhabitant locations. We used the responses obtained from the questionnaires in the univariate and multivariate analysis as explanatory variables. In addition, we used spatial logistic regression model to further analyze the data. The main symptoms in the cohort were stomach ache, nausea and diarrhoea. The clinical picture was mild and the length of the illness had a median of three days. Several pathogens and/or faecal indicators were detected by from the patient faecal and/or water samples, including sapovirus, single Campylobacter jejuni, arcobacters and various E. coli types (EHEC, EPEC, EAEC and EHEC). A case definition was created based on the clinical symptoms, which was used as a response variable in the statistical models. Drinking untreated tap water from the defined outbreak area had a risk ratio (proportion of those exposed among ill to those exposed among healthy) of 5.6 (95% CI 1.9-16.4) increasing in a dose response manner. We were able to calculate the distance between the water breakage point and the inhabitant position by the path of the water distribution network with the method developed for this study. The closer a person lived to the water distribution breakage point, the higher the risk of becoming ill. Children were more likely to fall ill. In the multiple log and logistic regression models, age (inversely), distance from the breakage point (inversely) and drinking the tap water were significant. In addition, a spatial term (describing the spread of the infection between close contacts, inaccuracy in the distance variable and nonlinear fluctuation of the water in the distribution network) was significant. Transmission between persons is common among children and with viral infections. The novel methods used in this study improved the characterization of the source of the infections, and aided to define the extent and magnitude of this outbreak. These methods may be applied to wide range of future outbreaks.

Eturauhassyöpä on miesten yleisin syöpä länsimaissa. Suomessa se aiheuttaa vuosittain noin 800 kuolemaa ja uusia eturauhassyöpiä diagnosoidaan vuosittain yli 4 000 kappaletta. Eturauhassyövän tarkasteleminen tilastotieteen keinoin on lähtökohtaisesti kannattavaa, koska eturauhassyövän diagnosoinnista ja hoidosta kerätään laajoja ja kattavia tietoaineistoja. Aineistojen otoskoot ovat lisäksi sairauden yleisyydestä johtuen verrattain suuria, mikä edesauttaa tilastollisia analyyseja. Tässä tutkielmassa analysoidaan tilastollisesti suomalaisesta eturauhassyövän seulontatutkimuksesta peräisin olevaa aineistoa ($n$=1 608) elinaika-analyysin keinoin. Elinaika-analyysi on tilastotieteen osa-alue, jonka tehtävänä on antaa vastauksia kysymyksiin, jotka liittyvät tiettyjen kiinnostavien tapahtumien ilmenemiseen ja selittävien tekijöiden vaikutukseen tapahtumien ilmenemiseen. Elinaika-analyysin menetelmistä sovelletaan regressiomalleihin kuuluvaa Coxin suhteellisten riskitiheyksien mallia ja Kaplan-Meierin estimaattoreita. Sovelletut menetelmät ovat yleisesti sovellettuja eturauhassyövän tilastollisessa analyysissa. Analyysin tulokset osoittavat, että diagnoosihetkellä määritetyt muuttujat selittävät eturauhassyöpäkuolleisuutta tilastollisesti merkitsevällä tavalla. Merkittävä osa kuolleisuudesta jää kuitenkin selittämättä, minkä vuoksi saatujen tulosten sovellettavuus rajoittuu väestötason tarkasteluun; yksittäisiä potilaita koskevien hoitopäätösten teko vaatii diagnoosihetkellä määritettyjen muuttujien lisäksi muita tutkimuksia. Analyysiin sisältyvät diagnostiset tarkastelut eivät paljasta merkittäviä poikkeamia sovellettuihin tilastollisiin menetelmiin sisältyvistä oletuksista.

Erityisesti taloudellisissa ilmiöissä sekä niitä kuvaavissa aikasarjoissa esiintyy usein vaihtelua eri tilojen välillä, esimerkiksi markkinoiden vakauden heilahtelun aiheuttamana. Eri tilojen välillä vaihtelua selittämään kykeneviä aikasarjamalleja ovat muun muassa autoregressiiviset sekoitusmallit. Tällaisia ovat esimerkiksi GMAR-malli (Gaussian Mixture Autoregressive) ja StMAR-malli (Student's t Mixture Autoregressive), joihin perustuen tutkielmassa esitetään molempien piirteitä hyödyntävä G-StMAR-malli (Gaussian and Student's t Mixture Autoregressive). Autoregressiiviset sekoitusmallit voidaan ajatella kokoelmaksi lineaarisia autoregressiivisiä malleja, joista kutakin kutsutaan mallin komponentiksi. Kunkin komponentin ajatellaan kuvaavan kutakin ilmiössä esiintyvää tilaa. GMAR-mallissa komponenttien oletetaan olevan normaalisia autoregressiivisiä prosesseja, kun taas StMAR-mallissa ne ovat t-jakaumaan perustuvia, ehdollisesti heteroskedastisia autoregressiivisiä prosesseja. StMAR-mallin komponenttien ehdollisen varianssin riippuvuus samoista parametreista kuin ehdollinen odotusarvo voi kuitenkin olla rajoittava tekijä tapauksissa, joissa komponenttikohtainen ehdollinen odotusarvo on vahva, mutta ehdollinen varianssi heikko. Tästä syystä StMAR-malli yleistetään tutkielmassa G-StMAR-malliksi sallimalla osan sen komponenteista perustuvan GMAR-mallin käyttämiin normaalisiin autoregressiivisiin prosesseihin, joissa ehdollisen varianssin oletetaan olevan vakio. Tutkielmassa esitellään GMAR-malli ja StMAR-malli, ja määritellään niiden pohjalta G-StMAR-malli. Lisäksi osoitetaan, että GMAR-mallin ja StMAR-mallin houkuttelevat teoreettiset ominaisuudet, kuten ergodisuus ja stationaarisen jakauman tunteminen, periytyvät ilmeisellä tavalla myös G-StMAR-mallille. Mallien esittelemisen jälkeen tutkielmassa kerrotaan lyhyesti, kuinka esitetyt mallit voidaan estimoida kaksivaiheista menetelmää käyttäen, miten malleille voidaan valita sopivat asteet, kuinka kvantiiliresiduaaleja voidaan hyödyntää mallin sopivuuden tarkastelemisessa ja miten taustalla olevan prosessin tulevia havaintoja voidaan ennustaa simulaatiomenettelyllä. Tutkielman empiirisessä osiossa tutkitaan, millaisiksi G-StMAR-mallin parametrit estimoituvat pohjana olevaan StMAR-malliin verrattuna, ja lisäksi mallien ennustetarkkuuksia vertaillaan toisiinsa. Esimerkkiaineistona käytetään Standard & Poor's 500 osakemarkkinaindeksin päivittäistä volatiliteettia kuvaavaa, ajanjakson 3.1.2000-20.5.2016 kattavaa aikasarjaa. Tutkielman tulosten perusteella StMAR- ja G-StMAR-mallien ennustetarkkuuksien välillä ei voida sanoa olevan juurikaan eroa, mutta joissakin tapauksissa voidaan G-StMAR-malliin siirtymällä välttää StMAR-mallin parametrien estimaatteja koskevia ongelmia.

Haastattelu on yksi yleisimmistä tiedonkeruun menetelmistä, ja sitä käytetään useilla yhteiskuntaa käsittelevillä aloilla. Siihen, kuten kaikkiin tiedonkeruumenetelmiin, liittyy virhelähteitä. Tämä tutkielma tarkastelee haastattelijoiden vaikutusta kerättyyn aineistoon. Tarkoituksena on selvittää, miten haastattelijat ja haastattelutilanne vaikuttavat vastauksiin, miten näitä vaikutuksia mitataan sekä mikä on niiden suuruusluokka ja merkitys survey-tutkimuksessa. Haastattelu on erittäin monimutkainen survey-toiminto, sillä se sisältää kognitiivista vuorovaikutusta haastattelijan ja vastaajan välillä. Haastattelijan toimenkuvaan kuuluu paljon muutakin kuin vain kysymyksen lukeminen ääneen vastaajalle: haastattelijan pitää lisäksi muun muassa selvittää, onko henkilö oikeutettu vastaamaan tutkimukseen, suostutella hänet osallistumaan ja kysyä häneltä tarvittaessa tarkentavia kysymyksiä. Haastattelijan tehtävien monimutkaisuus altistaa helposti virheille ja vaihtelulle eri haastattelijoiden välillä. Käyntihaastatteluin suoritettavissa survey-tutkimuksissa ei yleensä ole kustannustehokkuuden vuoksi mahdollista osittaa vastaajajoukkoa haastattelijoille täysin satunnaisesti. Puhelinhaastatteluissa vastaavaa ongelmaa ei periaatteessa ole, mutta tämän tutkielman aineistoissa vastaajat oli silti allokoitu haastattelijoille alueellisin perustein myös puhelinhaastatteluissa. Näistä seikoista johtuen analyysiasetelmaa ei voitu rakentaa yksinkertaisen varianssianalyysin pohjalta, sillä tällöin alueiden ja haastattelijoiden vaikutukset olisivat sekoittuneet toisiinsa. Näin ollen tutkielmassa tarvittiin monitasomallien soveltamista. Käytetyn mallin hierarkkisessa rakenteessa vastaajat ovat alimmalla tasolla ja haastattelijat ja alueet molemmat toisella asteella, mutta keskenään ristiinkytkeytyneinä. Tutkielman empiirisessä osiossa aineistona on kaksi Tilastokeskuksen keräämää uhritutkimusaineistoa: EU-rikosuhritutkimus ja kansallinen uhritutkimus. Rikoksista kerätään luonnollisesti tietoa suoraan viranomaisilta, mutta koska kaikki rikokset tai uhrikokemukset eivät tule viranomaisten tietoon, tarvitaan survey-tutkimusta. Herkän aihealueen vuoksi hypoteesina oli, että haastattelijavaikutusta esiintyy enemmän kuin sellaisissa tutkimuksissa, joissa aiheet ovat olleet neutraalimpia. Aineiston perusteella tutkielmassa vastataan erityisesti kysymyksiin, kuinka paljon haastattelijavarianssi selittää tulosmuuttujien kokonaisvarianssista, kuinka suuri on asetelmakerroin ja mitkä ovat alueellisten ja haastattelijavaikutusten suuruuksien suhteet. Lisäksi on mallinnettu haastattelijoiden vaikutusta vastauskatoon. Havaitut haastattelijavaikutukset poikkeavat suuresti toisistaan eri tulosmuuttujien välillä. Keskimäärin havaitut vaikutukset ovat kansainvälisissä verrokkitutkimuksissa havaittuja vaikutuksia pienempiä. Suomalaisia vertailukohteita varsinaisista analyysin kohteista ei ole. Haastattelijavaikutukset ovat paikoin suurempia kuin aluevaikutukset, erityisesti kaikkein herkimmiksi koetuissa kysymyksissä. Asetelmavaikutukset eivät pääsääntöisesti nouse suuriksi edes eniten sisäkorrelaatiota sisältävissä kysymyksissä, sillä haastattelijakohtaiset haastattelumäärät olivat maltillisia. Keskivirheet ovat sisäkorrelaatioiden suuruuteen nähden isoja, ja vain muutamat kysymykset sisältävät tilastollisesti merkitsevää sisäkorrelaatiota. Tulosten perusteella näyttää, että haastattelijat noudattavat sovittuja haastattelukäytäntöjä hyvin ja toimivat siten riittävän yhdenmukaisesti. Kertaluontoisissa survey-tutkimuksissa haastattelijavaikutustutkimukset ovat osa surveyn jälkeistä laadun arviointia. Toistettavassa tutkimuksessa tai saman tutkimuksen eri aalloissa haastatteluvaikutusten tutkimisen avulla voidaan seuraavalla kerralla tai seuraavassa aallossa parantaa surveyn laatua. Monissa survey-tutkimuksissa haastattelijavaikutusten tutkiminen olisi mahdollista rutiininomaisesti ilman monimutkaisia analyysiasetelmia ja tutkielmassa halutaan kannustaa tähän. Tärkeimpiä lähteitä tutkielmassa ovat L. Kishin tutkimus haastattelijavarianssista mielipidekysymyksissä, F. Fowlerin ja T. Mangionen standardoidusta haastattelumallista esittämät ajatukset, J. Hoxin teos monitasomalleista sekä S. Gablerin ja P. Lahirin artikkeli haastattelijavaikutuksista monimutkaisissa otanta-asetelmissa. Tutkielman aiheeseen johdatteli S. Laaksosen Helsingin yliopistossa pitämä survey-metodiikan kurssi.

Tutkielman tavoitteena on luoda lineaarisen regressioanalyysin avulla hinnoittelumalli helsinkiläisille kerrostaloasunnoille, minkä avulla pyritään selvittämään asuntojen hinnanmuodostukseen vaikuttavia tekijöitä ja niiden vaikutusten suuruutta. Tutkielman alussa kuvataan asuntomarkkinoita Suomessa keskittyen erityisesti hinnanmuodostukseen mahdollisesti vaikuttaviin tekijöihin. Teoriaosiossa käsitellään lineaarista regressioanalyysiä, jota voidaan käyttää yhden selitettävän muuttujan ja yhden tai usean selittävän muuttujan välisen lineaarisen yhteyden mallintamiseen ja selittämiseen. Tutkielman empiiristä osiota varten on poimittu aineisto Kiinteistönvälitysalan Keskusliitto ry:n KVKL HSP -hintaseurantapalvelusta. Palvelusta löytyy suomalaisten kiinteistönvälittäjien tekemät asuntokaupat sisältäen yksityiskohtaista tietoa myydyistä asunnoista. Aineistoksi rajattiin tammikuun 2016 ja elokuun 2017 välillä tapahtuneet helsinkiläiset kerrostaloasuntokaupat. Lisäksi aineistoa on rikastettu lisäämällä kohteiden sijaintikoordinaatit avoindata.fi -palvelusta, mistä löytyy Väestönrekisterikeskuksen ylläpitämät tiedot, sekä R-ohjelmiston avulla laskettu erilaisia matka-aikoja ja -pituuksia kohteista keskustaan hyödyntäen Google Maps -karttapalvelun ohjelmointirajapintaa. Tutkielmassa muodostetaan pienimmän neliösumman menetelmällä yhteensä kolme eri estimointimallia, joiden avulla kuvataan ja selitetään eri ominaisuustekijöiden vaikutuksia asunnon hintaan. Mallit kuvaavat niissä olevien yksittäisten selittäjien arvojen vaihtelun vaikutusta, kun muiden selittäjien vaikutus on vakioitu. Tutkielmassa onnistuttiin selittämään asuntojen hinnanmuodostusta melko tarkasti. Saadut tulokset ovat odotetun suuntaisia suhteessa taustateoriaan, ja niiden perusteella helsinkiläiset kerrostaloasunnot ovat hyvin moniuloitteisia hyödykkeitä, joiden hinnat määräytyvät useiden hintatekijöiden yhteisvaikutuksen perusteella. Tutkielman tuloksissa näkyi lisäksi selvästi asuntomarkkinoiden suhdanteen nousukehitys.