Browsing by Author "Männistö, Johanna"
Now showing items 1-2 of 2
-
Männistö, Johanna (2024)Large Language Models (LLMs) demonstrate increasingly impressive capabilities as they grow in size, but these ever-growing models come at the expense of high training, inference, storage, and deployment costs. Parameter Efficient Fine-Tuning (PEFT) methods have emerged as a response to the growing cost of performance and have demonstrated success when used with general language models. PEFT methods have also been applied to train models with fewer than one billion parameters on code tasks such as code summarization. However, few have compared multiple PEFT approaches when training models on code generation tasks. We investigate the training methods' impact on model performance on code generation tasks by training five model families, ranging from 124 million to 15.5 billion parameters, using four PEFT approaches and regular fine-tuning. We find the impact of each PEFT method varies depending on model size and dataset size and quality. Larger models required fewer updated parameters and saw the best performance with prompt-tuning and LoRA approaches, while models smaller than 1.5 billion parameters saw the best results with more parameter updates, such as with full fine-tuning. In addition to differences in performance results, we also find that as model sizes, increase memory savings and training speeds become increasingly similar. Surprisingly, we see a decline in model performance after training large models. We hypothesize this is due to data misalignment between the pre-training data and sub-optimal training hyperparameters. The results of this study suggest that LoRA, when applied to all linear layers, is an effective and competitive training method for code generation tasks across various model sizes. For models with fewer than 1.5 billion parameters, if the resources are available full fine-tuning should be done for optimal performance, which is not the case for larger models. We also report all training hyperparameters to aid others in determining the best hyperparameters for their use case. Finally, this study discusses the benefits and criticisms of commonly used metrics, and their impact on evaluating model performance.
-
Männistö, Johanna (2014)Tutkielman tavoitteena on analysoida verovelvollisen myötävaikutusvelvollisuuden ja sivullisen tietojenantovelvollisuuden sisältöä ja rajoja. Velvollisuuksien rajoja tarkastellessa analysoidaan verotusmenettelylain pykälien sisältöä sekä sitä, voidaanko muusta lainsäädännöstä ja oikeuskäytännöstä johtaa rajoitteita näihin velvollisuuksiin. Lisäksi analysoidaan rajojen soveltamista käytännössä ja soveltamisen vaikutuksia verotusmenettelyn kulkuun sekä selvittämisvelvollisuuden jakautumiseen osapuolten välillä. Verovelvollisen myötävaikutusvelvollisuudella tarkoitetaan tutkielmassa verovelvollisen verotusmenettelylain 2 luvun mukaista ilmoittamisvelvollisuutta, velvollisuutta antaa lisätietoja sekä esittää aineisto tarkastettavaksi verotarkastuksessa. Verovelvollisella on perinteisesti katsottu olevan verotuksessa hyvin laaja myötävaikutusvelvollisuus. Tutkielmassa analysoidaan, miten verovelvollisen myötävaikutusvelvollisuutta on tulkittava suhteessa itsekriminointisuojaan eli oikeuteen olla myötävaikuttamatta oman syyllisyytensä selvittämiseen. Tutkielmassa lähestytään itsekriminointisuojaa kahdesta näkökulmasta. Tarkastelun kohteena on ensinnäkin se, miten itsekriminointisuoja vaikuttaa esitutkinnan tai rikosprosessin kanssa samanaikaisesti vireillä tai läheisessä ajallisessa yhteydessä olevaan hallinnolliseen verotusmenettelyyn. Oikeuskäytännössä itsekriminointisuojan on katsottu ulottuvan verotusmenettelyyn, jos verovelvollinen on ollut samanaikaisesti samoja asioita koskevassa esitutkinnassa epäillyn tai rikosprosessissa syytetyn asemassa. Tutkielmassa tarkastellaan myös mahdollisuutta ulottaa itsekriminointisuoja hallinnollisessa menettelyssä esitutkinnan aloittamista edeltävään aikaan. Verotusmenettelyssä kerätyt tiedot voidaan luovuttaa myöhemmin esitutkinta- ja syyttäjäviranomaisille, joten verovelvollinen ei voi tiedot antaessaan varmistua siitä, että tietoja ei tulla käyttämään häntä vastaan rikosprosessissa. Veroviranomaiset voivat tehdä saamiensa tietojen perusteella myös rikosilmoituksen. Itsekriminointisuojan ulottamisesta esitutkintaa edeltävään aikaan aiheutuisi kuitenkin hankalia rajanveto-ongelmia, joita on kuvattu tutkielmassa. Toisena näkökulmana itsekriminointisuojan tarkastelussa on se, voitaisiinko verotusmenettely rinnastaa tältä osin rikosprosessiin. Tällöin itsekriminointisuoja tulisi menettelyssä itsenäisesti sovellettavaksi. Tälle näkökulmalle ei löydy suoraa tukea oikeuskäytännöstä ja siihen on suhtauduttu myös oikeuskirjallisuudessa suurelta osin kielteisesti. Itsekriminointisuojan on kuitenkin oikeuskäytännössä katsottu ulottuvan yhä laajemmin erilaisiin hallinnollisiin menettelyihin, joten tutkielmassa analysoidaan verotusmenettelyn suhdetta itsekriminointisuojaan tässä kontekstissa ja suhteessa Euroopan ihmisoikeussopimuksen 6 (1) artiklaan. Tutkielmassa on tarkasteltu myös niitä vaikutuksia, joita itsekriminointisuojan soveltamisella voitaisiin ajatella olevan verotusmenettelyn kulkuun ja veroviranomaisten tiedonsaantioikeuteen. Tutkielmassa keskitytään sivullisen tiedonantovelvollisuuden osalta sivullisen erityiseen tiedonantovelvollisuuteen ja tarkastellaan sen rajoja oikeudenkäymiskaaren todistamiskiellon ja muihin lakeihin sisältyvien salassapitovelvoitteiden näkökulmasta. Oikeuskirjallisuudessa vallitsevana näkemyksenä vaikuttaa olevan, että verotusmenettelylain 19 §:n mukainen sivullisen erityinen tiedonantovelvollisuus ei oikeuta oikeudenkäymiskaaren 17 luvun 23 §:n todistamiskiellon rikkomiseen. Tutkielmassa analysoidaan myös verotusmenettelylain 22 §:n 3 momentin suhdetta muussa lainsäädännössä asetettuihin salassapitovelvoitteisiin. Tutkielmassa nostetaan esille pankkisalaisuus, joka ei kuitenkaan enää estä tietojen antamista veroviranomaisille. Lisäksi tutkielmassa käsitellään asianajosalaisuutta, jonka suhdetta sivullisen erityiseen tiedonantovelvollisuuteen voidaan pitää epäselvänä. Tutkielmassa tarkastellaan myös muille viranomaisille lainsäädännössä asetettujen salassapitovelvoitteiden suhdetta verotusmenettelylain säännöksiin. Sivullisen erityisen tiedonantovelvollisuuden rajoja on hankala määrittää yksiselitteisesti. Veroviranomaisilla voitaneen kuitenkin nähdä olevan korostunut velvollisuus harkita erilaisten salassapitovelvoitteiden alaisten tietojen tarpeellisuutta ennen niiden pyytämistä. Viranomaisten tulee harkintavaltaa käyttäessään noudattaa hallinnon oikeusperiaatteita. Tutkielmassa tarkastellaan myös kansainvälisen tietojenvaihdon vaikutuksia verovelvollisen myötävaikutus- ja sivullisen tiedonantovelvollisuuteen. Kansainvälistä tietojenvaihtoa tarkastellaan sekä verovelvollisen ja sivullisen velvollisuuksia vähentävänä että niitä laajentavana keinona. Kansainvälinen tietojenvaihto laajentaa veroviranomaisten tiedonsaantioikeutta.
Now showing items 1-2 of 2