Yleisen kielitieteen alaan kuuluva väitöskirja tarkastetaan Itä-Suomen yliopiston filosofisessa tiedekunnassa Joensuun kampuksella.
Mikä on väitöstutkimuksesi aihe? Miksi aihepiiriä on tärkeää tutkia?
Väitöstutkimukseni keskittyy puheterapian digitalisaatioon automaattisen puheentunnistuksen (ASR) ja luonnollisen kielen käsittelyn (NLP) avulla. Tapaustutkimus toteutettiin saksaa puhuvien afaattisten henkilöiden kanssa. Tavoitteena on kehittää menetelmiä, jotka mahdollistavat puhutun kielen automatisoidun analyysin ja tarjoavat merkityksellistä ja yksilöllistä palautetta puheterapiaharjoituksissa. Menetelmien tulisi myös olla skaalattavissa muihin kieliin ja käyttötarkoituksiin.
Aihe on tärkeä, koska tehokas puheterapia edellyttää tiheää ja intensiivistä harjoittelua, mutta lähiterapiatapaamisia on rajoitetusti saatavilla. Digitaaliset ratkaisut voivat tukea itsenäistä kotona tapahtuvaa harjoittelua, mutta nykyiset työkalut tarjoavat harvoin yksityiskohtaista palautetta puheen tuottamisesta. Väitöstutkimukseni, joka yhdistää kielitieteellisen analyysin ja tekoälyteknologiat, edistää terapian saavutettavuutta, skaalautuvuutta ja vaikuttavuutta sekä parantaa niiden henkilöiden kuntoutustuloksia ja elämänlaatua, joilla on erilaisia kielellisiä häiriöitä.
Mitkä ovat väitöstutkimuksesi keskeiset tulokset tai havainnot?
Tutkimukseni keskeinen tulos on ”modulaarinen kielitieteellinen analyysiputki”. Järjestelmä käsittelee puhuttua syötettä useilla tasoilla – foneettisella, leksikaalis-semanttisella sekä morfologisella – joten se mahdollistaa automatisoidun ja yksityiskohtaisen palautteen puheterapiaharjoituksissa tai samankaltaisissa konteksteissa. Järjestelmä yhdistää avoimen lähdekoodin ASR- ja NLP-työkaluja ja mukauttaa ne epätyypilliseen puheeseen. Mukautus perustuu asiantuntijatietoon, joten se ei edellytä suuria määriä arkaluonteista kliinistä ainestoa dataa tai merkittäviä laskentaresursseja.
Huolellisesti valitut avoimen lähdekoodin ASR-mallit voivat suoriutua kaupallisia ratkaisuja paremmin epätyypillisen puheen tunnistamisessa, ja ne voivat olla tarpeeksi laadukkaita käytettäviksi puheterapiasovelluksissa. Väitöskirjassani kuvataan myös menetelmiä tunnistuksen parantamiseksi.
Väitöskirjani on tietääkseni ensimmäinen tutkimus, jossa käytetään leksikaalis-semanttista verkostoa käyttäjien virheiden semanttiseen analyysiin. Lisäksi työssäni kehitetään menetelmä käyttäjän tarkoittaman vastauksen päättelemiseksi tilanteissa, joissa ASR-järjestelmän tuottama tulos ei vastaa olemassa olevaa sanaa.
Lisäuutuus liittyy näiden komponenttien yhdistämiseen läpinäkyväksi ja skaalautuvaksi viitekehykseksi, joka palaute on hienosyisempää kuin yksinkertainen oikein-väärin-palaute. Tämä validoitiin saksaa puhuvilta afaattisilta henkilöiltä kerätyillä aineistoilla (mukana olivat myös saksan murteita puhuvat henkilöt). Lisäksi ASR-komponenttia validoitiin saksaa puhuvilla monikielisillä lapsilla.
Tutkimukseni osoittaa, että tällaiset ratkaisut ovat toteuttamiskelpoisia myös todellisissa käyttöympäristöissä, mikä tekee niistä erittäin merkityksellisiä sekä tutkimuksen että käytännön sovellusten kannalta.
Miten väitöstutkimuksesi tuloksia voidaan hyödyntää käytännössä?
Väitöstutkimukseni tuloksia voidaan hyödyntää, kun kehitetään digitaalisia puheterapiasovelluksia, jotka on tarkoitettu tukemaan itsenäistä harjoittelua kotioloissa. Tutkimuksessa kuvattu analyysiputki mahdollistaa automaattisen palautteen saamisen suullisista harjoituksista ja auttaa käyttäjiä parantamaan ääntämystään, sanavarastoaan ja kielioppiaan ilman puheterapeutin läsnäoloa. Näin terapian teho ja saavutettavuus voivat parantua erityisesti niillä henkilöillä, jotka saavat vain rajallisesti tukea. Järjestelmä voi myös tukea puheterapeutteja täydentämällä lähiterapiatapaamisia ja vähentämällä rutiinityön määrää.
Afasiakuntoutuksen menetelmät ovat sovellettavissa muiden kielihäiriöiden terapiaan, kielen oppimiseen ja arviointityökaluihin. Tämä parantaa tutkimuksen sovellettavuutta digitaalisen terveyden ja koulutusteknologian aloille.
Mitkä ovat väitöstutkimuksesi keskeiset tutkimusmenetelmät ja -aineistot?
Väitöstutkimukseni yhdistää soveltavan kielitieteen, fonetiikan ja kieliteknologian menetelmiä. Keskeisintä on kielitieteellisen analyysiputken kehittäminen ja arviointi yhdistämällä ASR- ja NLP-työkaluja. Keskeisiin vaiheisiin kuuluivat useiden ASR-järjestelmien arviointi tyypillisellä ja epätyypillisellä puheaineistoilla, robustien avoimen lähdekoodin ASR-mallien valinta ja mukauttaminen, sopivien NLP-resurssien valinta, foneemisen, semanttisen ja morfologisen analyysin moduulien kehittäminen, virheluokittelun ja palautemekanismien toteuttaminen sekä järjestelmän testaaminen puheterapiatehtävien yhteydessä (esimerkiksi kuvien nimeämistehtävässä).
Tutkimuksessani käytettiin epätyypillistä puhetta sisältäviä kokeellisia aineistoja, mukaan lukien kohdemurreryhmän afaatikkojen puhetta. Tutkimuksessani sovellettiin sekä kvantitatiivista arviointia (muun muassa tunnistustarkkuutta) että virheiden laadullista analyysia.
Menetelmät kehitettiin yhteistyössä kliinisten ja teknisten sidosryhmien kanssa.
Liittyykö väitöstutkimukseesi jotain muuta keskeistä, josta haluat kertoa tiedotteessa?
Työni toteutettiin osana aphaDIGITAL-projektia (https://inno-tdg.de/projekte/aphadigital/). Projektia rahoitti Saksan liittovaltion tutkimus-, teknologia- ja avaruusministeriö (entinen liittovaltion opetus- ja tutkimusministeriö).
Lisätietoja: Eugenia Rykova, [email protected]