Browsing by Subject "evaluation"

Tiivistelmä – Referat – Abstract In this Master’s thesis I investigate Non-Governmental Organization (NGO) involvement, experiences and outcomes in Madagascar, including the limiting and enabling factors for impact of conservation interventions driven by NGOs. The focal point of the research is the lived experiences from the field, including identification of processes and forces shaping the preconditions for NGO interventions. As part of the research I explore experiences of NGOs from their interventions and from engaging with local communities, government, policy makers and other NGOs in Madagascar. Many NGOs are active in biodiversity hotspots like Madagascar, but evaluation outcomes and lessons learned tend not to be extensively shared across organizations and thematic focus areas. This in turn affects preconditions to influence outcome determinants not only in isolated interventions but also across organizational borders. This study aims to define the situation and the issues faced by NGOs in Madagascar to suggest how the landscape could be navigated to improve the preconditions for long term intervention impact. The purpose is not to evaluate specific projects, but to assess the mechanisms through which the NGO sector can make a significant contribution to conservation, as well as the challenges in doing so. As the analysis seeks to broaden and contextualize the discussion of NGO involvement in conservation interventions, the theoretical framework for the research is based on theory on Non-Governmental Organizations and grounded theory. The theoretical framework facilitates the analysis of the findings, understanding of the results, as well as structuring and highlighting new insights. The theory is complemented with a background assessment of the environmental context in Madagascar, reviewing other research on conservation and its challenges in the country. This helps to understand the dimensions of the challenges, as well as the avenues open for exploration. Insights are gathered from representatives of long-term in situ NGOs to better understand the wider playing field in which they operate. The empirical research is based on semi-structured interviews conducted with 21 representatives from 12 international and local NGOs working with biodiversity conservation in Madagascar. The data was transcribed and analyzed through thematic network analysis and constructivist grounded theory analysis. The interviews were combined with a literature review, a group interview, a field visit to a project site, and more informal conversations with academic researchers and experts in the field. As part of the study, a two-week field trip to Madagascar was undertaken. To present the findings from this research, thematic categorizations were used to illustrate factors that affect outcomes of conservation interventions driven by NGOs. The categories are related to internal organization specific factors, cooperation with other actors (including other NGOs, government and actors in the local communities), as well as the Malagasy environment and politics (including government, laws and policies). The findings reveal challenges especially with systematic coordination of NGO interventions, NGO evaluation practices, resources, as well as issues with implementing sustainable community involvement in project design and decision making. Local community involvement is considered important, but in practice is not fully scaled up and inclusive in terms of decision making and consistent involvement. Findings indicate that the cooperation between NGOs and their key stakeholders works reasonably well from the NGO perspective, but still has potential to be better utilized in order to improve long-term sustainability. Consideration of external constraints is important to assess the potential of different types of interventions and approaches, allowing NGOs to focus their efforts according to the context and their capacities. While acknowledging and navigating the diversity of viewpoints, it is essential to be aware of the impact of structural challenges, the political complexity and the often-conflicting interests between conservation, the commercial and extractive sector, as well as local livelihoods and practices. Findings indicate issues with policy implementation and harmonization, and with conservation prioritization and law enforcement by the government. Local and national ownership and leadership backing is seen as essential for biodiversity conservation, pushing for stronger leadership from within the society. My research provides insights, recommendations and conclusions from which NGOs and conservation actors can gain better understanding of factors impacting interventions, as well as on the Malagasy playing field and its dynamics. This can be helpful in order to capitalize on opportunities and counter challenges, focusing actions on areas that make a difference. The findings can also be of value to other biodiversity conservation researchers, funding agencies, associations, communities and government stakeholders specifically focused on Madagascar. The research may also benefit NGOs and conservation actors involved in other countries, which confront similar challenges concerning conservation, governance, NGO involvement and interventions.

It has lately become a common practice among national authorities with macroeconomic mandates to build large Dynamic Stochastic General Equilibrium (DSGE) models to assist in forecasting and policy analysis. The Finnish Ministry of Finance has also developed a small open economy New Keynesian DSGE model, “KOOMA”. As DSGE models try to emulate the key features and dynamics of the economy, the crucial question is, how well do they function in accordance with reality? An answer to this question can be searched by using Structural Vector Autoregression (SVAR) models, which are natural econometric counterparts to DSGE models and are better suited for analyzing data. The aim of this study is to evaluate the calibration of KOOMA with a SVAR model, which is identified with sign restrictions. I compare impulse response functions from the SVAR model, which are found both statistically significant and robust to changes in model specifications, to the equivalent impulse response functions from KOOMA. The findings suggest, that KOOMA generally produce impulse responses with same signs as the SVAR model, but there are some differences in the magnitudes and persistence of the responses.

Universella meningsrepresentationer och flerspråkig språkmodellering är heta ämnen inom språkteknologi, specifikt området som berör förståelse för naturligt språk (natural language understanding). En meningsinbäddning (sentence embedding) är en numerisk skildring av en följd ord som motsvaras av en hel fras eller mening, speficikt som ett resultat av en omkodare (encoder) inom maskininlärning. Dessa representationer behövs för automatiska uppgifter inom språkteknologi som kräver förståelse för betydelsen av en hel mening, till skillnad från kombinationer av enskilda ords betydelser. Till sådana uppgifter kan räknas till exempel inferens (huruvida ett par satser är logiskt anknutna, natural language inference) samt åsiktsanalys (sentiment analysis). Med universalitet avses kodad betydelse som är tillräckligt allmän för att gynna andra relaterade uppgifter, som till exempel klassificering. Det efterfrågas tydligare samförstånd kring strategier som används för att bedöma kvaliteten på dessa inbäddningar, antingen genom att direkt undersöka deras lingvistiska egenskaper eller genom att använda dem som oberoende variabler (features) i relaterade modeller. På grund av att det är kostsamt att skapa resurser av hög kvalitet och upprätthålla sofistikerade system på alla språk som används i världen finns det även ett stort intresse för uppskalering av moderna system till språk med knappa resurser. Tanken med detta är så kallad överföring (transfer) av kunskap inte bara mellan olika uppgifter, utan även mellan olika språk. Trots att behovet av tvärspråkiga överföringsmetoder erkänns i forskningssamhället är utvärderingsverktyg och riktmärken fortfarande i ett tidigt skede. SentEval är ett existerande verktyg för utvärdering av meningsinbäddningar med speciell betoning på deras universalitet. Syftet med detta avhandlingsprojekt är ett försök att utvidga detta verktyg att stödja samtidig bedömning på nya uppgifter som omfattar flera olika språk. Bedömningssättet bygger på strategin att låta kodade meningar fungera som variabler i så kallade downstream-uppgifter och observera huruvida resultaten förbättras. En modern mångspråkig modell baserad på så kallad transformers-arkitektur utvärderas på en etablerad inferensuppgift såväl som en ny känsloanalyssuppgift (emotion detection), av vilka båda omfattar data på en mängd olika språk. Även om det praktiska genomförandet i stor utsträckning förblev experimentellt rapporteras vissa tentativa resultat i denna avhandling.

COVID-19-pandemian myötä vuotta 2020 on varjostanut epävarmuus ja pelko, mikä on havaittavissa sekä perinteisessä että sosiaalisessa mediassa käytävässä keskustelussa. Sosiaalisen median käytössä korostuu eri kanavien rooli sekä tiedon lähteenä että käyttäjien omien näkemysten ilmaisemisen välineenä. Lisäksi sosiaalisessa mediassa korostuu käyttäjien välinen vuorovaikutus. Sosiaalisen median käyttäminen terveyteen liittyvän tiedon lähteenä voi kuitenkin olla ongelmallista, erityisesti jos tieto erkaantuu tieteellisesti todistetusta faktasta. Sosiaalisessa mediassa esiintyvän diskurssin tarkasteleminen voi kuitenkin laajentaa ymmärrystämme käyttäjien suhtautumisesta ja asenteista uhkaavien infektiosairauksien vaaroihin sekä leviämisen estämiseen liittyviin toimenpiteisiin. Tämän tutkimuksen osalta COVID-19-pandemiaa lähestytään kasvomaskien käyttöön liittyvän diskurssin tarkastelulla suhtautumisen näkökulmasta. Analyysissa sovelletaan Martinin ja Whiten suhtautumisen teoriaa (Appraisal theory), jonka avulla voidaan havainnoida puhujien asennoitumista kasvomaskien käyttöön tarkastelemalla kielessä ilmenevää evaluaatiota. Teorian viitekehys koostuu kolmesta järjestelmästä: asennoituminen (attitude), sitoutuminen (engagement) ja asteittaisuus (graduation). Tämä tutkimus on rajattu asennoitumisen järjestelmään, joka jakautuu edelleen kolmeen alajärjestelmään: tunteiden ilmaisuun (affect), toiminnan arvosteluun (judgement) sekä esineiden ja asioiden arvottamiseen (appreciation). Suhtautumisen teoriassa kieli mielletään systeemis-funktionaalisesta kieliteoriasta lainaten merkitysten viestittämisen järjestelmänä, jossa evaluaatio toteutuu puhujan valitessa lukuisien mahdollisten merkitysten välillä. Tutkimuksen aineistona käytetään yhdysvaltalaisessa Washington Post -lehdessä julkaistua kasvomaskien oikeaoppiseen käyttöön ohjeistavan uutisartikkelin kommenttiosiota. Kommenttiosio koostuu yhteensä 137 kommentista, joista 114 sisältää kasvomaskien käyttöön liittyvää asennoitumista. Näissä 114 kommentissa ilmenee asennoitumista yhteensä 147 kertaa. Kommenttien analysoinnissa sovelletaan kvalitatiivista analyysia, jonka avulla kommenteista ensin täsmennetään asennoitumisen esiintymät. Tämän jälkeen analyysissa määritellään tarkemmin mitä kasvomaskeihin liittyvää aspektia arvioidaan, mikä on asennoitumisen polariteetti ja mihin arviointi sijoittuu asennoitumisen alajärjestelmissä. Tulokset osoittavat, että kasvomaskeihin liittyvässä diskurssissa korostuu ihmistoiminnan arvostelu, mikä ilmenee kasvomaskien käyttämättä jättämisen kielteisenä arvosteluna. Myös kasvomaskien sääntöihin sekä sääntöjen toteutumiseen ja valvontaan liittyvät epäjohdonmukaisuudet saavat osakseen kielteistä arvottamista. Tuloksissa ilmenee myös negatiivista asennoitumista poliittisia johtajia ja instituutioita kohtaan sekä näkyvää poliittista vastakkainasettelua, jossa kasvomaskien käyttämättömyys mielletään oikeistolaisen ideologian seuraukseksi. Tulokset viittaavat siihen, että kasvomaskeihin suhtaudutaan myönteisesti ja niiden tärkeys sairauden leviämisen estämiseksi tiedostetaan.

Konekäännösten laadun arviointiin on kehitetty erilaisia menetelmiä 1950-luvulta lähtien. Aluksi laadunarviointimenetelmät olivat lähes yksinomaan manuaalisia, eli ne perustuivat kohdekielen osaajien subjektiivisiin arvioihin konekäännöksen laadusta. 1990-luvulla otettiin käyttöön ensimmäiset automaattiset arviointimenetelmät. Pitkäkestoisesta ja laajasta tutkimuksesta huolimatta sekä manuaaliset että automaattiset arviointimenetelmät ovat edelleen epäluotettavia. Manuaalisten menetelmien ongelmana on se, että eri arvioijien tekemät arviot eivät ole johdonmukaisia. Automaattiset menetelmät taas perustuvat yleensä konekäännöksen vertaamiseen ihmiskääntäjän tekemään yksittäiseen vertailukäännökseen. Lähes jokaiselle lähdelauseelle on olemassa suuri määrä mahdollisia käännöksiä, joten automaattiset menetelmät arvioivat hyvin usein käännökset väärin. Tässä tutkielmassa kuvataan uudenlainen automaattinen menetelmä konekäännösten laadun arviointia varten. Menetelmän testiaineisto koostuu englanninkielisistä lähdelauseista, joista jokaiselle on käytettävissä erittäin laaja joukko suomenkielisiä vertailukäännöksiä. Testiaineisto perustuu manuaalisesti laadittuihin monikielisiin kielioppeihin, jotka ovat eräänlaisia semanttisia malleja, joilla on erilaisia ilmentymiä lähde- ja kohdekielessä. Lähdekielen ilmentymät muodostavat lähdelauseiden joukon ja kohdekielen ilmentymät vertailulauseiden joukon. Semanttiset mallit sisältävät semanttisia muuttujia, jotka lisäävät vaihtelevuutta testiaineistoon. Lähdelauseiden konekäännöksiä verrataan vertailukäännöksiin käyttämällä äärellistilaisia menetelmiä, jotka mahdollistavat konekäännöstä eniten muistuttavan vertailukäännöksen tehokkaan etsimisen. Äärellistilaisten siirtymien avulla voidaan myös seurata, millaisia muutoksia konekäännökseen on tehtävä, jotta sen voi muuttaa sitä eniten muistuttavaksi vertailulauseeksi. Tämä mahdollistaa yksityiskohtaisten virheanalyysien laatimisen, joiden avulla voidaan analysoida konekäännösjärjestelmien vahvuuksia ja heikkouksia. Tutkielman menetelmää arvioidaan kääntämällä testiaineisto kahdeksalla erilaisella konekäännösjärjestelmällä, jotka perustuvat erilaisiin konekäännösmenetelmiin. Konekäännökset käsitellään sen jälkeen menetelmällä. Menetelmän toimivuutta arvioidaan vertaamalla sen tuottamaa virheanalyysia kahden arvioijan tekemiin manuaalisiin virheannotaatioihin sekä testaamalla, pystyykö menetelmä erottamaan ihmiskääntäjien käännökset konekäännöksistä luotettavasti. Menetelmän arviointi osoittaa, että se on riittävän luotettava antamaan yksityiskohtaisia tietoja konekäännösjärjestelmien ominaisuuksista. Menetelmän tulokset ovat myös yhdenmukaisia julkaistujen konekäännöksen virheanalyysia käsittelevien artikkelien tulosten kanssa. Menetelmä siis soveltuu ongelmien automaattiseen havaitsemiseen konekäännösjärjestelmien kehittämisen aikana, mikä on sen pääasiallinen käyttötarkoitus.

The Forest Academy for Decision-makers is a well-known concept. It is necessary to evaluate the concept occasionally as it was created already in 1995. The goal of the Forest Academy is to increase dialogue between forest sector and rest of society by providing a forum to arouse interest towards forest issues and the possibilities that the field can provide for society, create new networks and provide stimulations for forest professionals from other sectors. Interaction, high-class presentations and attractions and the unique course spirit are in the core of the concept. I have evaluated the impact and effectiveness of the Forest Academy forums in this quality study. I have studied weather the concept has been able to affect in decision making or has something been achieved in the forest sector or wider in the society by utilizing networks or substance from the courses. I have interviewed course participants in 2016. Additionally, I have analyzed the course themes and how those have been changed during the past 20 years. I have used the previous evaluation study of the Forest Academy forums for planning this study and it is also valuable to compare results between these studies. The Forest Academy has improved the understanding of the Finnish forest sector among decision-makers. The acceptability of the forest sector and forest utilization and the national consensus in forest issues have strengthened by the Forest Academy. It has offered a memorable four-day-course experience for over thousand decision-makers. The concept has worked effectively as it has created new networks, added knowledge of the forest sector, and introduced how pervasive the forest and natural resource sector is. The results support the future demand for this kind of forum. At the same time, it is important to reach appropriate, effective, and committed participants for the upcoming courses. However, the concept needs developing as society and operational environment has become more hectic and global, forest sector is nowadays part of the bioeconomy and the whole natural resources and bioeconomy field faces strong expectations how to tackle the climate change and maintain biodiversity. The Forest Academy would need to answer more and more complex and wider topics. It demands development of the concept structure, encourage for interdisciplinary collaboration with various interest groups, even more interactive working during the courses, and bolder visions of the future role of forests. However, the basic knowledge of the forest related issues cannot be neglect. Forest Academy would need to consider, how to coordinate continuous and more determined developing, which takes into account the different operational environment than 20 years ago. The Forest Academy should still regard that the two-way communication really works in practice.

Pro gradu -tutkielman tavoite on kehittää metodologia, joka yhdistää tilannekomedioissa esiintyvää sosiolingvististä epäkohteliaisuutta ja sen tilanteellista kontekstia ohjelmissa representoitujen käytänteiden pohjalta. Tavoitetta lähestytään soveltamalla toisiaan täydentävien alojen teoriamalleja 1970-luvun amerikkalaisessa tilannekomediassa Perhe on pahin (All in the Family) esiintyviin puheakteihin, joissa tuotetaan negatiivisia arviointeja perheenjäsenien kesken. Tärkeimmiksi teoriamalleiksi muodostuvat epäkohteliaisuuden käsitteellistämistä koskevat mallit (impoliteness), diskurssianalyysistä sovelletut ihmisten arviointiin liittyvät mallit (negative judgements) sekä käytäntöyhteisöjen rakennetta ja toimintaa soveltavat mallit (community of practice). Nämä yhdistetään tutkielmassa laajempaan kulttuuristen affordanssien (cultural affordances), televisiodiskurssin sekä sosiaalisen merkityksellisyyden rakentumisen ja indeksikaalisuuden kontekstiin. Tutkielman premissiksi muodostuu oletus, että henkilöhahmojen väliset negatiiviset arvioinnit sekä niissä ilmenevät kvalitatiiviset ja kvantitatiiviset eroavaisuudet sisältävät representaatioita yhteiskunnan makro-sosiaalisista diskursseista. Täten ne tarjoavat myös mahdollisuuden tutkia ajallista sosiaalista muutosta televisio-ohjelmien representaatioissa. Tutkimus perustuu Perhe on pahin -sarjan ensimmäiseen tuotantokauteen. Tutkimusmateriaali on kerätty sarjan jaksoja katsomalla ja litteroimalla. Se koostuu kahdesta erillisestä aineistosta: Ensimmäinen aineisto koostuu havainnoista, joissa hahmojen toisiinsa kohdistuneet negatiiviset arvioinnit aiheuttavat negatiivisia reaktioita arvioinnin kohteesssa. Toinen aineisto koostuu havainnoista, jotka perustuvat henkilöhahmojen representoituihin toimintoihin. Edellä mainitut aineistot yhdistetään tutkimuksessa synteesiksi, jossa henkilöhahmojen representoitu toiminta käsitteellistetään negatiivisten arviointien tilanteelliseksi kontekstiksi. Tutkimuksen analyysissä tuodaan esille tuloksissa esiintyviä mielenkiintoisia eroavaisuuksia, jotka yhdistetään 1970-luvun Yhdysvaltojen makro-sosiaalisiin diskursseihin, kuten rotu- ja sukupuolitasa-arvoon sekä seksuaaliseen vapauteen. Tuloksia tarkastellaan sekä negatiivisten arviointien kvalitatiivis-kvantitaativisella analyysillä että esimerkkianalyysillä. Tutkimuksen merkittävimmät tulokset nousevat esille henkilöhahmodyadeissa esiintyvien negatiivisten arviointien eroavaisuuksien laadullisessa sekä määrällisessä distribuutiossa. Tarkastelemalla näitä representoitujen toimintojen yhteydessä saadaan empiiristen havaintojen tukema kuvaus makro-sosiaalisten diskurssien, kuten sukupuolittuneen työnjaon, representaatiosta negativiisissa arvioinneissa. Tutkimuksessa kehitetty metodologia osoittautuu toimivaksi ja luo pohjan mahdolliselle jatkotutkimukselle.

Tutkimuksen päätarkoitus oli hahmottaa verkko-opetuksen arvoja ja arviointia luokanopettajan näkökulmasta. Teoreettisena viitekehyksenä oli mediakasvatus ja didaktiikan käsitys opetus opiskelu oppimisprosessista. Didaktisena perustana käytettiin Kansasen ym. (2000) opettajan pedagogista ajattelua, Lahdeksen (1997) didaktiikan kehämallia sekä Uljensin (1997) opetus opiskelu oppimisprosessia. Lähtökohtana oli luokanopettajan arvioinnin kautta pohtia opetuksen, opiskelun ja oppimisen sekä tieto- ja viestintätekniikan yhtymistä koulukontekstissa. Tutkimuksen pääongelmat olivat: 1) Minkälainen oli luokanopettajan käsitys verkko-opetuksen toteuttamisesta? 2) Miten luokanopettaja arvioi verkko-opetusta? Myös ensimmäistä pääongelmaa lähestyttiin arvojen ja arvioinnin näkökulmasta. Menetelmänä käytettiin teemahaastattelua. Teemahaastattelun teemoja jäsennettiin Gallinin (2001) sosiokulttuurisen verkko-opetuksen arviointimallin sekä Tellan ja Mononen-Aaltosen (2001) mediakasvatuksen monitasomallin avulla. Aineistonkeruussa kahdeksan helsinkiläistä luokanopettajaa vastasivat lyhyeen kyselyyn, jonka jälkeen heitä haastateltiin välittömästi. Laadullisen aineiston analyysissä teemoiteltiin aineisto, ja tämän rinnalla rakennettiin aineistolähtöistä analyysiä. Näiden vuorovaikutuksesta syntyivät tutkimuksen johtopäätökset. Keskeisinä tuloksina tutkimuksessa nähtiin luokanopettajan verkko-opetukseen liittyvien arvojen kaksi eri näkökulmaa: (A) opetus opiskelu oppimismenetelmien ja -tulosten arvonäkökulma sekä (B) ns. kasvatuksellinen ja koulukulttuurin arvonäkökulma. Arvonäkökulmien pohjalta hahmotettiin johtopäätöksissä erilaisia tasoja luokanopettajan opetuksen, opiskelun ja oppimisen arvioinnista, kun tieto- ja viestintätekniikka on mukana prosessissa. Kaksi tasoa tarkennettiin verkko-opetuksen arvioinnin fokuksiksi, jotka olivat (1) teknologinen ja (2) tavoitteinen fokus. Teknologisessa arvioinnin fokuksessa (1) arviointia hallitsee huoli oppilaasta ihmisenä. Arviointi liittyy joko siihen, että oppilaan on opittava perustaidot tieto- ja viestintätekniikassa ja ymmärrettävä Internetin mahdollisuudet, tai siihen, että opettaja pyrkii suojelemaan lapsia Internetin uhkilta ja liialliselta altistumiselta esimerkiksi digitaalisille peleille. Verkko-opetuksen tavoitteinen arvioinnin fokus (2) nojaa siihen, minkälaisia tavoitteita luokanopettaja yleisesti asettaa opetukselleen, vaikka tieto- ja viestintätekniikka ei liittyisikään prosessiin. Fokuksen taustalla on myös mediakasvatuksen näkökulma tieto- ja viestintätekniikan opetuskäyttöön, jolloin keskeistä on, että opetuksen suunnittelu ja arviointi ei lähde teknologiasta käsin vaan didaktiikasta ja pedagogisista arvoista. Verkko-opetuksen arvioinnin fokusten voidaan nähdä täydentävän toisiaan. Fokusten varioinnissa voidaan puhua luokanopettajan kohdalla todellisesta mediataidosta, joka ulottuu yli ammatillisen pätevyyden aina opettajan henkilökohtaiseen kehittymisen kaareen.

This thesis explores press bias in the US and UK news coverage of the final 2020 US presidential debate between Joe Biden and Donald Trump. An integral part of the US presidential election campaigns, the debates are televised events where the presidential candidates discuss controversial topics, and the press reports about the debates in real time. The goal of this thesis is to analyse whether a bias towards one of the candidates can be identified in the press coverage, and whether there is a difference between the coverage in the two countries. While the topic of press bias in elections has evoked academic interest in other fields, linguistic research has been minimal. Previous studies have found that the press coverage of presidential debates is sometimes biased or inaccurate, which might have the potential to influence voter behaviour. In this thesis I analyse whether a linguistic approach can offer new insight on how these biases manifest. The data comes from 8 US and 10 UK newspapers and consists of 69 newspaper articles. These countries were chosen, because their media systems have been found to share many similarities in the past, and they can give a general idea of the press coverage in the English-speaking world. More than just bias, this study analyses something called evaluation, an area of linguistics that deals with how writers express their views, how they build discourse with the readers and how they reflect the values of their community. Appraisal Framework (Martin and White, 2005) was used in the analysis, as it has been specifically designed for analysing evaluation and has been applauded for its ability to recognise implicit attitudes of the writers. The framework consists of three categories: ATTITUDES of the writer, ENGAGEMENT with the reader and GRADUATION, the degree of the attitudes. The collected data was analysed and classified manually in a close reading. The differences between the countries were found to be small, and a consistent bias favouring Biden was identified in the press coverage of both countries. In the ATTITUDE category, Trump was more often evaluated negatively than positively in both countries, especially regarding his moral standing (PROPRIETY) and his skills and capabilities (CAPACITY). Biden, on the other hand, was not evaluated negatively as much as Trump, and in the US, there were more positive than negative evaluations of him. He was most often applauded for his successes in the debate (CAPACITY). ENGAGEMENT was most often used by the journalists to oppose Trump’s views and to support Biden’s. The framework made it possible to build a more detailed description of how the biases manifest in the presidential debate news coverage and especially excelled in recognising implicit attitudes. At the same time, the framework had some issues regarding replicability of the study due to the subjectivity in identifying implicit attitudes. Some of these issues have been brought up by researchers in the past and adjustments for the framework have been suggested. Future studies using the Appraisal Framework could benefit from using one of these adjustments and seeing how that affects the results.