Luonnollisen kielen käsittely paljastaa kokemukset tekstistä

Rakensimme Iloomin tekstianalyysityökalu Wordloomiin® uusia ominaisuuksia, joita voidaan käyttää ihmisten kokemusten, arvojen ja mielipiteiden analysointiin. Tämä toimii apuna esimerkiksi brändinhallinnassa tai kulttuurin rakentamisessa. Luonnollisen kielen käsittelyn (Natural Language Processing, NLP) avulla ratkaisumme voi skannata suuria tekstimassoja ja tunnistaa niistä erilaisia aiheita, joista ihmiset ovat keskustelleet. Järjestelmä kykenee löytämään tekstistä myös aiheisiin liittyvät tunteet sekä taustalla vaikuttavan kulttuurisen kontekstin, ja muodostaa näistä automaattisesti visualisoinnin, josta tuloksia on helppo tarkastella.

Keskustelunaiheiden tunnistaminen

Wordloomin® keskiössä on sen tarjoama käyttötapausten kirjo, joka yhdistyy samassa palvelussa kontekstiherkkyyteen. Wordloomin® avulla voidaan ajaa useita erilaisia ​​luonnollisen kielen malleja, kuten esimerkiksi aihemallinnusta (LDA: n kanssa) ja syviä malleja (kuten BERT).

Wordloom® tunnistaa keskustelunaiheet käsittelemästään tekstidatasta. Tämän ominaisuuden rakentamiseen käytimme mallia nimeltä LDA (Latent Dirichlet Allocation), joka on yksi aihemallinnuksen vakiintuneimmista menetelmistä. LDA on probabilistinen malli, joka muodostaa joukon aiheita analysoitavan tekstidatan korpuksesta. Malli määrittää tarkasteltavan korpuksen keskustelunaiheet ryhmittelemällä usein esiintyvät sanat yhteen. LDA:n muodostamat keskustelunaiheet sisältävät kukin luettelon aiheeseen liittyvistä olennaisimmista sanoista jotka löytyvät analysoidusta aineistosta. Jokainen yksittäinen mallin analysoima teksti (tai mallinnustermein dokumentti) kuuluu useaan aiheeseen. Kaikki mallin muodostamat aiheet onkin siis aina sidottu tutkittavaan aineistoon ja / tai ilmiöihin.

Tunteiden ja kulttuurisen kontekstin tunnistaminen

Wordloomia® voidaan käyttää myös tunnistamaan analysoitujen asiakirjojen ilmapiiri tai kulttuurinen konteksti. Hyödynsimme tämän ominaisuuden rakentamisessa BERT-nimistä koneoppimismallia (Bidirectional Encoder Representations from Transformers). BERT on alunperin Googlen kehittämä malli, jota käytetään erityisesti kontekstianalyysissä. Wordloom® voi myös yhdistää tunne- ja kulttuurianalyysin aihemallintamiseen, jonka perusteella saamme tarkemman kuvan kunkin aiheen luonteesta ja kattavamman käsityksen tutkituista ilmiöistä.

Kiinnostuitko? Lue koko referenssi sivuillamme:

Wordloom® Automated experience analysis from text data.

Suunnittelutyön rahoitus

Wordloomin® suunnittelun rahoitti osittain Business Finland.