Lemmatisaatio Pythonissa | Aloittelijan opas

Tässä opetusohjelmassa aiomme keskustella lemmatisaatiosta, joka on menetelmä, jota käytetään sanan eri elementtien ryhmittelyyn. Lemmatisaatio pyrkii myös vähentämään sanan taivutusmuotoa ja keskittyy tarjoamaan sanan juuri- tai perusmuoto, jota sana lemma tarkoittaa.

Sisällysluettelo

• Lemmatisaatio vs stemming
• Huomioittavia asioita käytettäessä lemmatisaatiota
• Lemmatisoinnin valmisteluvaihe Pythonissa
• Lemmatisoinnin toteuttaminen Pythonissa
• Johtopäätös

Lemmatisaatio vs stemming

Lemmatisaatio on samanlainen kuin varsinainen, joka myös vähentää sanojen taivutusmuotoja. Ainoa ero on, että lemmatisaatio käyttää sanakirjapohjaisia ​​sanoja tuloksena.

Toisaalta johdettu sana poistaa vain liitteet taivutetusta sanasta, mikä voi johtaa sanoihin, joita ei ole olemassa.

Jos esimerkiksi käytämme johdettua sanaa tutkimukset , se antaa sanan studi tulosteena, koska sen tarkoituksena on poistaa es- liite sanasta tutkimukset .

Toisaalta, jos lemmatisaatiota käytetään, tuloksena annetaan sana tutkimus , koska se keskittyy sanan perusmuodon tarjoamiseen.

Huomioittavia asioita käytettäessä lemmatisaatiota

• Se käyttää sanakirjapohjaisia ​​sanoja. Termillä lemma , joka tarkoittaa sanan juuri- tai kantamuotoa, lemmatisaatio pyrkii tarjoamaan sanan perusmuodon sen sijaan, että poistaisi vain sanan taivutusmuotoja.
• Perussanan löytäminen riippuu täysin puheen osista. Ilman puheenosien määrittämistä) lemmatointi ei välttämättä toimi hyvin, etkä välttämättä saa etsimääsi tulosta.
• Se on hitaampi kuin varsiminen, mutta se on tehokkaampi. Koska lemmatisointi ei noudata algoritmia suoritettaessa sanoja ja tarvetta tarjota puheenosia, sitä pidetään hitaampana kuin johdosta. Se on kuitenkin tehokkaampi, koska se käyttää sanakirjapohjaisia ​​sanoja tuloksiin. 
• Sillä on suurempi tarkkuus etsiessään juurisanaa. Koska lemmatisointi käyttää sanakirjapohjaisia ​​sanoja taivutetun sanan tulosten asettamisessa, sinulla on paremmat mahdollisuudet saada tarkkoja tuloksia.

Lemmatisoinnin valmisteluvaihe Pythonissa

Ennen kuin jatkamme lemmatisoinnin toteuttamista, aloitetaan tuomalla Word- kirjasto textblobista .

Sen jälkeen luomme sanaobjektin. 

Sanaobjektin luomiseksi loimme muuttujan nimeltä w . Sitten tallensimme Word-kirjaston, joka sisältää sanaobjektimme, joka on octopi , sanan mustekala monikkomuoto. Huomaa, että kun välität elementin Word-kirjaston avulla, on tärkeää sisällyttää se yksittäisiin lainausmerkkeihin.

Alustetaan muuttuja w nähdäksemme, sisältääkö se juuri luomamme sanaobjektin.

Kun w- muuttuja suoritetaan, saamme tuloksena sanan objekti octopi .

Lemmatisoinnin toteuttaminen Pythonissa

Seuraavaksi toteutamme lemmatisoinnin käyttämällä .lemmatize- funktiota. 

Tässä vaiheessa käytimme w -muuttujaa, joka sisältää sanan objekti octopi , ja .lemmatize -funktiota lemmatisoinnin soveltamiseen. Tuloksena saimme sanan mustekala , joka on sanan mustekala juuri- tai kantamuoto .

Sen jälkeen kokeillaan soveltaa lemmatisaatiota sanalla parempi .

Edellisessä esimerkissä päivitimme sanaobjektimme mustekalasta paremmaksi . Sitten lemmatisoimme sen .lemmatize - funktiolla. Siten saamamme tulos on sama kuin käyttämämme sana objekti.

Käytettäessä .lemmatize-funktiota voit muuttaa sen lemmatisoinnin tapaa välittämällä puheenosan. Esimerkkinä yritetään siirtää funktio .lemmatize, joka tarkoittaa adjektiivia puheosissa. 

Kun olet lisännyt osan puhetta .lemmatize-funktioon, voimme saada perussanasta hyvän tuloksen.

Muutetaan sanaobjekti jälleen juoksevaksi . Muutetaan myös .lemmatize-funktiolle siirrettävä sanan osa v:ksi, joka tarkoittaa verbiä.

Muutosten tekemisen ja .lemmatize-funktion alustamisen jälkeen saimme sanan juoksun juurisanan, joka ajetaan tuloksena. Useimmat lemmatisoijat eivät pysty suorittamaan menetelmiä, joita teimme juuri käyttämällä .lemmatize-toimintoa.

.lemmatize-funktio on kuitenkin huomattava työkalu suoritettaessa tietyntyyppisiä sanan perusmuotoja.

Johtopäätös

Lyhyesti sanottuna voimme ymmärtää lemmatisoinnin käytön ja miten se toimii. Olemme keskustelleet myös lemmatisoinnin samankaltaisuudesta ja eroista johtumisesta . Pystymme myös luomaan sanaobjektin Word- kirjaston avulla ja hyödyntämään .lemmatize -funktiota.

Lisäksi olemme oppineet käyttämään puheen eri osia .lemmatize-funktiossa. Lemmatisoinnin toteuttaminen päivittäisissä tekstianalyysitehtävissäsi auttaa sinua huomattavasti vähentämään aikaa ja vaivaa tietyn sanan perussanan etsimiseen.

Kaikki parhaat,

Gaellim