Fra tradisjonell dataanalyse til moderne maskinlæringsmetoder

Moderne dataanalyse baserer seg i stor grad på kunstig intelligens. Dette involverer bruk av datamodeller som er ekstremt gode til å finne mønstre i store mengder data uten at mennesker forteller den hva den skal lete etter. Alpha Zero er et eksempel på en slik kunstig intelligens som lærte seg å spille sjakk på et skyhøyt nivå etter kun å ha blitt forklart spillereglene og spilt en rekke partier mot seg selv. Et enda nyere eksempel er språkmodellen ChatGPT, som etter å ha sett drøssevis av tekst på internett evner å gi gode svar på ulike forespørsel fra oss mennesker. Disse formene for kunstig intelligens tar i bruk såkalte maskinlæringsmodeller; modeller som ved hjelp av en algoritme automatisk klarer å finne mønstre i data. Dyplæring er en underkategori av maskinlæring som omhandler kunstige nevrale nettverk, og datamodellering ved bruk av slike modeller har de siste årene vist enormt potensial. Som eksemplene over tydelig illustrerer kan slike modeller være svært kraftfulle og gi imponerende resultater, men det er ofte umulig å si noe om hvorfor en slik modell predikerer det den gjør. Det ville for eksempel vært svært nyttig å vite hvorfor Alpha Zero foreslår nettopp et bestemt sjakktrekk eller nøyaktig hva slags tekst som ligger til grunn for svaret fra ChatGPT. Det er derfor viktig å studere disse teknikkene nærmere for å kunne bruke slike modeller på best mulig måte. 

Undersøker nye muligheter for datamodellering ved hjelp av teknikker fra dyplæring

Denne nye teknologien er i rask utvikling og åpner opp for en rekke nye anvendelser. Dette var bakgrunnen for Helins doktorgradarbeid, hvor han har undersøkt nye muligheter for datamodellering ved hjelp av teknikker fra dyplæring. Mer konkret har prosjektet har handlet om å undersøke overgangen fra tradisjonell dataanalyse til moderne maskinlæringsmetoder, med et fokus på applikasjoner innenfor spektroskopi. Dette inkluderer å se på mulighetene til å anvende metoder fra dyplæring i kontekst av tradisjonell datamodellering, men også bruk av tradisjonell datamodellering i et rammeverk av dyp læring.

– Spørsmålet rundt tolkbarhet har vært sentralt i mitt arbeid, hvor jeg hele tiden har prøvd å utvikle metoder som utnytter de tradisjonelle, tolkbare teknikkene med de imponerende resultatene fra maskinlæringsmodeller. Ved å utvikle og anvende nye metoder for datamodellering, har jeg prøvd å bygge bro mellom det tradisjonelle og moderne. Prosjektet har gitt ny innsikt innenfor moderne spektroskopisk dataanalyse, sier Runar Helin. 

Et konkret problem Helin har undersøkt er hvordan dyplæring kan bli brukt i sammenheng med preprosessering av spektroskopiske data.

– Preprosessering (forhåndsbehandling) av data er viktig og ofte helt nødvendig for å gi datamodeller mulighet til å finne nyttig informasjon som ligger i dataene. Innenfor spektroskopi handler det gjerne om å korrigere data for kjente effekter som er uinteressante for problemet som modelleres, sier Helin.

Det finnes en rekke slike preprosesseringsteknikker, hvor den beste metoden til et spesifikt problem ofte blir funnet ved hjelp av prøving og feiling. I løpet av doktorgraden har Helin sett på hvordan et nevralt nettverk kan modifiseres til å inkludere preprosessering som en del av nettverksarkitekturen. På denne måten overlates oppgaven om å finne den optimale preprosesseringsteknikken til maskinlæringsmodellen. Som en forskjell fra tradisjonell datamodellering blir nå preprosesseringen og selve datamodelleringen gjort av én og samme modell. Dette resulterer i en preprosesseringsteknikk spesielt tilpasset det spesifikke problemet modellen blir brukt på. 

Kan vurdere viktigheten av ulike datakilder

Helin har også studert hvordan fleksibiliteten til nettverksarkitekturen til dyplæringsmodellene kan brukes til å modellere problemer hvor data kommer fra ulike kilder. Domenet kalles ofte for multi-block eller data fusion. Dette er problemstillinger som i liten grad har blitt studert i sammenheng med dyplæring, men det finnes flere etablerte tradisjonelle teknikker på området. I studien har han samarbeidet med andre forskere om å utvikle en nettverksarkitektur som tar inn data i ulike kanaler. Disse dataene blir prosessert av nettverket på forskjellige måter før de senere kombineres for å gi en endelig prediksjon.

– Det nyskapende med metoden er at vi i tillegg kan si noe om graden av viktighet hver datakilde har for modelleringen. Vi kan for eksempel si noe om datakilden er helt overflødig, noe som gir oss mer innsikt i problemet samtidig som man kan spare ressurser på å ikke trenge å samle inn data fra denne kilden for fremtidige modeller, sier Helin. 

Flere måter å modellere problemer med dyplæring

I arbeidet med doktorgraden har Helin også sett på ulike alternativer til å modellere problemer med dyplæring. En mulighet er å kombinere tradisjonell modellering med maskinlæring på en slik måte at den tradisjonelle datamodellen står for majoriteten av prediksjonen og hvor dyplæringen kun tar seg av det de tradisjonelle modellene ikke klarte å fange opp.

– Fordelen med å modellere problemet slik er at resultatene fra den tradisjonelle modellen er tolkbar samtidig som man kan oppnå bedre prediksjonsevne ved å inkludere prediksjonen fra dyplæringsmodellen. Dette er med på å skape trygghet i hva modellen predikerer siden mesteparten stammer fra en tolkbar modell, sier Helin.

Han har også undersøkt et modelleringsalternativ til dyplæring som kombinerer mange enkle lineære modeller på en slik måte at de samlet sett klarer å modellere ikke-lineære problemer. Metoden baserer seg på å finne lokale undergrupper av dataene. Hver undergruppe modellerer dataene på ulik måte med en lokal modell. Til slutt kombineres prediksjonene fra alle de lokale modellene.

– Eksperimenter gjort fra denne måten å modellere data på innenfor spektroskopi, indikerer at man kan oppnå resultater som konkurrerer med dyplæring, men hvor sammenhengen mellom data og prediksjon er mer transparent sammenlignet med et nevralt nettverk, sier Helin.

Runar Helin forsvarer sin doktorgradsavhandling "Utforsking av overgangen fra tradisjonell dataanalyse til metoder med maskin- og dyp læring" fredag 16. juni 2023. Se disputasoppslaget her.