Лематизація в Python | Посібник для початківців

У цьому підручнику ми збираємося обговорити лематизацію, яка є методом, який використовується для групування разом різних елементів слова. Лематизація також має на меті зменшити флексію слова та зосереджується на наданні кореневої або основної форми слова, що означає слово лема .

Зміст

• Лематизація проти коріння
• Речі, які слід враховувати при використанні лемматизації
• Етап підготовки до лематизації в Python
• Реалізація лемматизації в Python
• Висновок

Лематизація проти коріння

Лематизація подібна до коріння, яке також функціонує для зменшення флексій у словах. Єдина відмінність полягає в тому, що лематизація використовує слова зі словника як результат.

З іншого боку, коріння лише видаляє афікси зі змінюваного слова, що може призвести до слів, яких не існує.

Наприклад, якщо ми використовуємо похідні слова до слова studies , це дасть слово studi як результат, оскільки воно спрямоване на видалення суфікса es зі слова studies .

З іншого боку, якщо використовується лематизація , як результат буде надано дослідження слова, оскільки воно зосереджується на забезпеченні основної форми слова.

Речі, які слід враховувати при використанні лемматизації

• Він використовує слова зі словника. З терміном лема , який означає корінь або основну форму слова, лематизація має на меті забезпечити основну форму слова, а не просто усунути флексії слова.
• Пошук основного слова повністю залежить від частин мови. Без визначення частин мови) лемматизація може не працювати добре, і ви можете не отримати результат, який шукаєте.
• Це повільніше, ніж стемінг, але потужніше. Оскільки лемматизація не дотримується алгоритму для виконання слів і потребує надання частин мови, вона вважається повільнішою, ніж коріння. Однак він потужніший у тому сенсі, що для отримання результатів використовує слова зі словника. 
• Він має вищу точність у пошуку кореня слова. Оскільки лемматизація використовує слова зі словника для викладення результатів зі змінюваного слова, у вас буде більше шансів отримати точні результати.

Етап підготовки до лематизації в Python

Перш ніж перейти до впровадження лематизації, давайте почнемо з імпорту бібліотеки Word із textblob .

Після цього ми створимо об’єкт Word. 

Щоб створити об’єкт Word, ми створили змінну з іменем w . Потім ми зберегли бібліотеку Word, яка зберігає наш об’єкт word, який є octopi , форма множини слова octopus. Зверніть увагу, що під час передачі елемента за допомогою бібліотеки Word важливо взяти його в одинарні лапки.

Давайте ініціалізуємо змінну w , щоб побачити, чи містить вона щойно створений об’єкт слова.

Після виконання змінної w в результаті ми отримуємо об’єкт word octopi .

Реалізація лемматизації в Python

Далі ми збираємося реалізувати лематизацію за допомогою функції .lemmatize . 

На цьому кроці ми використали змінну w , яка містить слово об’єкт octopi , і використали функцію .lemmatize для застосування лематизації. В результаті ми отримали слово восьминіг , яке є коренем або основою слова восьминіг .

Після цього спробуємо застосувати лематизацію зі словом краще .

У попередньому прикладі ми оновили наш об’єкт word з octopi на better . Потім ми лематизували це за допомогою функції .lemmatize . Таким чином, результат, який ми отримали, такий самий, як слово об’єкт, яке ми використали.

Використовуючи функцію .lemmatize, ви можете змінити спосіб її лемматизації, передавши частину мови. Як приклад, давайте спробуємо передати a до функції .lemmatize, яка означає прикметник у частинах мови. 

Після додавання частини мови до функції .lemmatize ми можемо в результаті отримати базове слово good .

Давайте знову змінимо наш об’єкт word на runing . Давайте також змінимо частину мови, яку ми передамо функції .lemmatize, на v , що позначає дієслово.

Після внесення змін та ініціалізації функції .lemmatize ми отримали корінь слова running , яке запускається в результаті. Більшість лемматизаторів не здатні виконувати методи, які ми щойно зробили, використовуючи функцію .lemmatize.

Однак функція .lemmatize є значним інструментом для використання під час виконання певних типів для отримання основної форми слова.

Висновок

Коротше кажучи, ми можемо зрозуміти використання лематизації в і як вона працює. Ми також обговорювали схожість і відмінності лемматизації від коріння . Ми також можемо створити об’єкт Word за допомогою бібліотеки Word і як використовувати функцію .lemmatize .

Крім того, ми навчилися застосовувати різні частини мови у функції .lemmatize. Впровадження лемматизації у ваших повсякденних завданнях аналізу тексту значно допоможе вам зменшити час і зусилля на пошук основного слова певного слова.

Все найкраще,

Гаеллім