Зміст
- Визначення - Що означає токенізація?
- Вступ до Microsoft Azure та Microsoft Cloud | У цьому посібнику ви дізнаєтеся, що стосується хмарних обчислень та як Microsoft Azure може допомогти вам мігрувати та вести свій бізнес із хмари.
- Техопедія пояснює токенізацію
Визначення - Що означає токенізація?
Токенізація - це акт розбиття послідовності рядків на частини, такі як слова, ключові слова, фрази, символи та інші елементи, що називаються лексемами. Маркерами можуть бути окремі слова, фрази або навіть цілі речення. У процесі токенізації деякі символи, як розділові знаки, відкидаються. Маркери стають вхідним фактором для іншого процесу, такого як розбір і майнінг.
Токенізація використовується в інформатиці, де вона відіграє велику роль у процесі лексичного аналізу.
Вступ до Microsoft Azure та Microsoft Cloud | У цьому посібнику ви дізнаєтеся, що стосується хмарних обчислень та як Microsoft Azure може допомогти вам мігрувати та вести свій бізнес із хмари.
Техопедія пояснює токенізацію
Токенізація в основному покладається на просту евристику, щоб розділити лексеми, виконавши кілька кроків:
- Маркери або слова розділені пробілом, розділовими знаками або розривами рядків
- Білий пробіл або пунктуаційні знаки можуть бути або не включатися залежно від потреби
- Усі символи в суміжних рядках є частиною маркера. Токени можуть складатися з усіх альфа-символів, буквено-цифрових символів або лише числових символів.
Самі жетони також можуть бути роздільниками. Наприклад, у більшості мов програмування ідентифікатори можуть бути розміщені разом з арифметичними операторами без пробілів. Хоча здається, що це виглядатиме як одне слово чи лексема, граматика мови насправді розглядає математичний оператор (маркер) як роздільник, тому навіть коли кілька лексем зібрано разом, їх все одно можна розділити за допомогою математичного оператор.