Månadens profil: Johanna Mesch

Hur kan teckenspråket få samma förutsättningar som talade språk att hänga med i utvecklingen av språkteknologi och AI? Johanna Mesch, professor i teckenspråk på institutionen för lingvistik vid Stockholms universitet, har tagit fram en korpus för teckenspråk och arbetar med att utveckla AI för teckenspråk tillsammans med TMH (Tal, Musik och Hörsel) vid KTH.

Vad gör du på jobbet?

– Jag undervisar och forskar inom teckenspråksämnet. Mitt främsta forskningsområde är taktil teckenspråkskommunikation av personer med dövblindhet som får synnedsättning. Teckenspråket är ett visuellt språk, du ser istället för att höra. Så vad händer när man inte längre kan se? Då använder man istället taktilt teckenspråk och håller i händerna på den man talar med för att känna rörelserna. Jag har även arbetat med en korpus för teckenspråk under en lång tid och nu får vi en chans att utöka det arbetet genom den nya teckenspråksmodulen som ingår i Swe-Clarin från 2025 och som är knuten till Stockholms universitet.

Berätta om korpusen!

– Svensk teckenspråkskorpus består just nu av 24 timmar inspelat material och över 200 000 tecken med annoteringar om ordklass men också detaljerad information om ett tecken utförs med en eller två händer, till exempel. Vidare har vi glossat tecknen, det vill säga skapat unika identifierare för tecknen i form av svenska ord för tecknet med versaler. Ordet överensstämmer inte exakt med vad själva tecknet betyder, men vi försöker hitta en intuitiv motsvarighet. En spännande sak som vi kan göra i teckenspråksmodulen är att göra syntaktisk annotering av en del av korpusen, något som inte finns för så många korpusar i världen. Vi kommer även i viss mån att annotera ansiktsuttryck och blickriktning.

I jämförelse med textkorpusar är teckenspråkskorpusen väldigt liten men genom nya inspelningar kommer vi att kunna utvidga den och den kommer därmed också att bidra med nya tecken och varianter till Svenskt teckenspråkslexikon. Vi har också samlingar av tecknade texter av personer med dövblindhet och hörande andraspråksinlärare. Korpusen och lexikonet innehåller mycket data som i sin tur kan användas för att utveckla teknologi som maskininlärning och automatiserad teckenspråkigenkänning. Ett exempel på det är KTH:s projekt SIGNBOT – Generativ AI för teckenspråk.

Berätta om SIGNBOT!

– Målet är att göra en högkvalitativ generativ modellering av teckenspråk med hjälp av de mest avancerade generativa AI-modellerna för animation och språk.

Projektet SIGNBOT tittar på hur texter och tal kan översättas till teckenspråk. Det är en utmaning på grund av teckenspråkets visuellt-spatiala natur och högt parallella struktur. Det handlar också om att fånga små fina rörelser: se detaljer i vad fingrarna gör, hur handen är riktad, när en rörelse börjar och slutar, till exempel. Tecknen har också olika hastighet, en del är långsamma och andra snabba. Vidare kan samma teckenform ha flera olika betydelser, så man måste veta i vilken kontext tecknet är. För detta behövs mycket träningsdata. Vi använder data från korpusen och lexikonet och har även börjat ett samarbete med SVT om en mängd teckenspråksdata.

Just nu är vi i en tidig fas av projektet men målet är att ge teckenspråksanvändare nya resurser och möjligheter med hjälp av AI. Till exempel att enkelt kunna se hur ett tecken utförs, eller använda avatarer som teckenspråksaktörer.

Vad driver dig?

– Jag har alltid haft ett språkintresse och är intresserad av olika uttrycksformer, tv, film, konst och teater. Hur kan man tänja på gränserna för teckenspråket? Språkteknologi är ett sätt att dokumentera teckenspråket och göra det sökbart, och har också bidragit till att göra teckenspråket mer synligt.