Browsing by Subject "multimodaalisuus"

Tutkielmani käsittelee kertojaäänen tekstittämisen problematiikkaa viihteellisessä Myytinmurtajat-tiedesarjassa. Tavoitteenani on esitellä kääntäjille toimivia ratkaisuja materiaalissani esiintyviin ongelmakohtiin sekä yleisesti tekstityksen tiivistämiseen ja poisjättöihin. Tutkimusaineistona käytän neljää Myytinmurtajien jaksoa (esityskausi 2013–2014) ja niihin laatimiani MTV:n lähettämiä suomenkielisiä tekstityksiä. Valitsen näistä 11 parhaiten soveltuvaa esimerkkikohtausta analyysiäni varten. Kiinnitän erityistä huomiota kertojaäänen ja ruudulla näkyvien juontajien dialogin vaihteluun, multimodaalisiin näkökohtiin ja tekstin tiivistämistarpeeseen. Sovellan tutkielmassani Bauldryn ja Thibaultin (2005) multimodaaliseen transkriptioon perustuvaa multimodaalista analyysiä käännösvalintojeni havainnollistamiseksi. Käytän aineistoni analysointiin retrospektiivistä introspektiota, eli pohdin takautuvasti omia päättelyprosessejani käännöksen ongelmakohdissa. Esitän myös mahdollisia parannuksia osaan aiemmista käännösratkaisuistani. Esimerkeissäni yleisimmin esiintyvä haaste on kertojaäänen puheen keskeytyminen ruudulla näkyvien henkilöiden välikommenttien ajaksi. Analyysini perusteella lyhyet ja irralliset välikommentit kannattaa jättää kääntämättä, jotta katsojan on helpompi seurata tekstitystä ja kertojan puhetta. Kertojan pitkät, moniin osiin pilkotut virkkeet kannattaa erottaa omiksi itsenäisiksi ja helposti ymmärrettäviksi repliikeikseen. Poisjättöihin ja tiivistämiseen ei ole olemassa kaikenkattavia yleispäteviä sääntöjä, mutta olennaisinta on löytää puheen relevantein aines. Myös multimodaalisuudella on tärkeä rooli tekstityksen tiivistämisen kannalta. Tekstitystaidot kuitenkin kehittyvät parhaiten kokemuksen, rutinoitumisen ja erityisesti palautteen myötä.

Pro gradu -työssäni tutkin erikielisiä internetmeemejä. Internetmeemit ovat verkossa esiintyvä populaarikulttuurin muoto, joka on nykyisin jo varsin tavallinen ja usein humoristinen osa arjen viestintää. Arkikielessä sana meemi viittaa yleensä internetissä esiintyvään vitsiin, johon saattaa sisältyä esimerkiksi sekä sanallista että kuvallista sisältöä. Internetmeemeille on tyypillistä niiden muokkaaminen leviämisen yhteydessä eli versiointi. Meemin käsitteellä on pidempi historia sosiologian kontekstissa, missä sitä on käytetty yleisesti tarkoittamaan imitoimalla ihmiseltä toiselle siirtyvää käytös- tai ajatusmallia. Tämän aiheen, memetiikan, tutkimuksesta on viime vuosikymmenen aikana alkanut erkautua oma alansa, joka tutkii nimenomaan internetmeemien leviämistä ja ominaisuuksia. Työssäni analysoin kvalitatiivisin metodein internetmeemien rakennetta sekä niiden käännöksiä ja käännösstrategioita. Tavoitteena oli muodostaa kuva siitä, millaisia muutoksia meemeihin tehdään ja miten tämä vaikuttaa niiden välittämiin merkityksiin sekä kartoittaa meemien merkitystä luovia rakenteita sekä koetella visuaalisen kieliopi soveltuvuutta multimodaalisen tekstin erittelyyn. Analysoin myös kysymystä siitä, onko versiointiin perustuvaa tekstilajia ylipäätään mahdollista kääntää tai pitää käännöksenä ja käyn tämän yhteydessä läpi erilaisia määritelmiä, joita käännöksen käsitteelle on esitetty. Taustoitan aihettani myös erittelemällä meemin käsitteen tieteellistä historiaa. Tutkimusaineisto koostuu kolmen meemin englannin-, suomen- ja saksankielisistä kieliversioista. Aineisto on kerätty pääasiassa internetin yhteisöpalveluiden käännössisältöön tai tietynkieliseen sisältöön keskittyviltä käyttäjätileiltä tai keskustelukanavilta. Aineiston erittelyyn ja analyysiin hyödynnettiin visuaalista kielioppia, kun taas sen esimerkkien välillä tapahtuneita muutoksia analysoitiin Andrew Chestermanin 30 käännösstrategian luokitusta. Tuloksien mukaan aineistossa esiintyy kirjaimellista, sanasanaista kääntämistä, kulttuurista suodattamista eli tekstien muokkaamista käännettävän kielen kulttuuriin päin sekä niiden informaatiosisällössä tapahtuneita muutoksia ja koherenssin muutoksia. Lisäksi meemien näkyvä muokkaaminen muodosti useissa tapauksissa läpinäkyvyyden muutoksen eli tässä tapauksessa kääntäjästä näkyvämmän, sillä se toi kääntäneen henkilön kädenjäljen näkyville tekstiin. Strategioiden toteuttamisen tapa vaihteli tarkasteltujen meemien tyypin mukaan. Huomattavaa oli, että meemeihin oli niiden suomen- ja saksankielisissä versiossa tehty runsaasti visuaalisia lisäyksiä, jotka viittasivat suomalaiseen tai saksalaiseen kulttuuriin karnevalisoivalla, stereotyyppejä hyödyntävällä tavalla. Sanallista sisältöä oli myös korvattu visuaalisella.

This study focuses on the uses of visual material (illustrations, tables, graphs, and videos) and their relation to text in upper secondary textbooks and the Finnish matriculation examination. There is not much research on how illustrations are being used in textbooks and high-stake exams, even though studies have shown positive results of the use of visual material in learning. The aim of this study was to provide more understanding on the roles of visual material and captions. The context of this study is influenced by the increase in visual communication, the central role of textbooks in Finnish classrooms, the critique towards textbooks that promote content instead of knowledge building skills, the national core curriculums that emphasize creative thinking and multiliteracy (LOPS 2015, LOPS 2019), and in the years 2016-2019 digitalized Finnish matriculation examination. The data of the research consists of the textbooks (printed and digital) of the first courses in psychology, biology, and English, and of the matriculation examinations (2018-2020) of these subjects. Altogether 488 visual elements with possible captions in textbooks and 127 in matriculation examinations were analyzed. The research approach used was qualitative, theory directive content analysis and the data were classified in categories in order to facilitate comparison. To support high-level learning, learning materials should support students in the areas of hierarchical building of concepts and theories, knowledge construction and application. The analysis showed that these features are somewhat more uncommon, and the main function of visual material is representative. Visual material has a significant role in textbook exercises and in the Finnish matriculation examination. However, they also carry some irrelevant, even cognitively burdensome features. Visual material in textbooks mainly indicates to the inner world of the textbook instead of external sources of information. The role of the captions in conveying the information was considered significant, especially when the pages of the books were abundantly illustrated. The visual material in printed and digital textbooks had only minor differences in their quality but notable differences in their quantity in this research. Based on this research visual material seems to have potential in both supporting learning and evaluating it, but illustrations should be used with consideration and care to avoid confusion and burdening the student.

Communication, by nature, is multimodal: it uses various forms (modes) of communication, such as spoken language, written language, illustrations, and many others to create meaning. Multimodality research is the study of communicative situations that rely on such various modes and their combinations. One form of multimodality very commonly seen in everyday life comes in diagrams, which can convey very complex concepts by combining visual expressive resources (such as illustrations or photographs), written language, and diagrammatic elements such as lines and arrows. The primary aim of my thesis is to establish whether the linguistic structures of written labels – that is, textual elements – in diagrams can inform the decomposition of visual expressive resources. Put simply, I seek to find if said visual elements can more accurately be divided into further, more granular units in accordance with linguistic patterns in their accompanying textual elements. To answer my main research question, I posit three sub-questions. First, if certain diagram types (macro-structures), such as tables, cycles, or cross-sections co-occur with specific linguistic patterns; second, if different rhetorical functions found in diagrams employ different structures in their written labels as well; and third, if these functions are signaled by other means in tandem with written language. Answering these questions can help in designing future multimodal corpora and their annotation schemata, increasing annotation accuracy and possibilities for their processing. The theoretical framework used in this thesis synthesizes theories from multimodality theory, discourse studies, and diagrams research. I approach diagrams from the perspective of multimodality, highlighting them as discursive artefacts. This is enabled by the diagrammatic mode, which establishes how discourse semantics can function in the context of diagrams and how their interpretation is dynamic; that is, each element or combination of multiple elements can in turn contextualize or be a part of other elements and their combinations on a different scale. I also discuss the discourse-semantic concepts of coherence and cohesion as they relate to multimodal artefacts: different elements, even if not linguistic, can combine to create semantically meaningful connections between constituents in such an artefact. To exemplify this, I also apply Rhetorical Structure Theory (RST), which seeks to formalize how units of discourse are interconnected and work towards a shared communicative goal. RST employs rhetorical relations such as ELABORATION and IDENTIFICATION to describe how units and their combinations relate to other parts of a text (or other communicative whole). The data I use consists of two interrelated and complementary multimodal corpora: AI2D and AI2D-RST. AI2D is a collection of primary-school textbook science diagrams, annotated for blobs (visual expressive resources), labels, and diagrammatic elements, created for question-answering purposes. It also contains the linguistic data in each of the corpus’s diagrams. AI2D-RST contains a subset of the diagrams in AI2D, expanding them with additional annotation layers for information on macro-structures, visual connectivity, and RST, describing each element’s rhetorical relation in the diagram. I computationally find each rhetorical relation containing a label in AI2D-RST, noting its type, the type of the diagram it appears in, and fetching the labels’ linguistic content from AI2D. I then process each label’s contents with spaCy, a library for natural language processing, for linguistic elements such as phrase types, part-of-speech patterns, and average word counts. The output contains data on each label’s rhetorical relation, the possible macro-structure it is contained in, and said linguistic structures. The results show that there are indeed some differences in how distinct rhetorical relations and macro-groups use language: for example, cycles contain the most verb phrases and highest word count, indicating the use of written language to explicate certain processes to viewers. As linguistic patterns differ across these classes and are contextualized by surrounding diagrammatic elements, approaching diagrams from a discursive standpoint may be beneficial for future empirical multimodality research as well as designing annotation schemata to be more intuitive for annotators. With larger datasets and further research, precise sets of rules containing linguistic structures and layout information may be developed to increase accuracy in probability-based computational analysis of diagrams.

Tutkielma keskittyy tutkimaan sosiaalisten mainosten multimodaalisia venäjänkielisiä tekstejä kielitieteellis-maantuntemuksellisesta näkökulmasta. Tutkielman tavoitteena on tunnistaa tärkeimmät kielitieteellis-maantuntemuksellisen tiedon esittämistavat analysoimalla venäjänkielisten sosiaalisten mainosten multimodaalista tekstiä ja vastaavasti tunnistaa mainostekstin tärkeimmät vaikuttamiskeinot vastaanottajaan. Tutkielmassa on käsitelty kielitieteellis-maantuntemuksellisen informaation käsitettä, tutkittu multimodaalisen tekstin rakentamisen teoriaa ja sen pääpiirteitä, tarkasteltu venäjänkielisten sosiaalisten mainosten tekstejä kielitieteellis-maantuntemuksellisen informaation näkökulmasta, tunnustaen samalla sosiaalisten mainosviestien tekstit arvokkaaksi kielimateriaaliksi. Valtio ja sosiaaliset instituutiot todetaan tärkeäksi vaikutus- ja viestintävälineeksi yleiseen mielipiteeseen, arvoihin ja käyttäytymismalleihin. Käytännöllisen osan tutkimusmateriaalina on ennalta valittu kielimateriaali, joka koostuu 22 sosiaalimainoksesta, jotka oli esitelty 2011-2019 ajanjaksolla Moskovan ja Pietarin mainostauluissa ja Internetissä. Valittu kielimateriaali oli tutkittu kahdella tavalla, ensin käyttäen kielikorpuksia ja tekstin kielellisen analysoinnin työkaluja ja sitten vastaajia testaamalla. Tutkimustarpeita varten on luotu sosiaalisten mainosviestien multimodaalisen tekstin kielitieteellis-maantuntemuksellisen informaation käsittelyn algoritmi, joka perustuu markkinoinnin työhön ja mainonnan kansallisten piirteiden tutkimiseen. Käytännöllisessä osassa on verrattu ja analysoitu vastaajien testauksen aikana saatuja tuloksia ensimmäisen tutkimuksen tuloksiin tunnistamalla sosiaalisen mainonnan viesteissä suosituimmat kielitieteellis-maantuntemuksellisen tiedon esittämistavat. Tutkielma sisältää kaavioita, joissa on esitetty vastaajien testauksen aikana saatujen tietojen tilastollisen käsittelyn tulokset. Tutkielman loppuosassa on tehty johtopäätökset yleisimmistä kielitieteellis- maantuntemuksellisen tiedon esittämistapojen menetelmistä ja tekniikoista venäjänkielisten sosiaalisten mainosviestien teksteissä. Sen lisäksi on huomattu, että tutkimuksen aikana käytetyllä käsittelyalgoritmilla on potentiaalia, jota on mahdollisista käyttää tulevissa sosiaalisen mainonnan tekstien tutkimuksissa.