Зміст
- Визначення - Що означає веб-сканер?
- Вступ до Microsoft Azure та Microsoft Cloud | У цьому посібнику ви дізнаєтеся, що стосується хмарних обчислень та як Microsoft Azure може допомогти вам мігрувати та вести свій бізнес із хмари.
- Техопедія пояснює веб-сканер
Визначення - Що означає веб-сканер?
Веб-сканер - це Інтернет-бот, який допомагає в індексації веб-сторінок. Вони проскакують по одній сторінці по одному веб-сайту, поки всі сторінки не будуть індексовані. Веб-сканери допомагають збирати інформацію про веб-сайт та пов’язані з ними посилання, а також допомагають у валідації HTML-коду та гіперпосилань.
Веб-сканер також відомий як веб-павук, автоматичний індексатор або просто гусеничний.
Вступ до Microsoft Azure та Microsoft Cloud | У цьому посібнику ви дізнаєтеся, що стосується хмарних обчислень та як Microsoft Azure може допомогти вам мігрувати та вести свій бізнес із хмари.
Техопедія пояснює веб-сканер
Веб-сканери збирають таку інформацію, як URL-адреса веб-сайту, інформацію метатегів, вміст веб-сторінки, посилання на веб-сторінці та пункти призначення, що ведуть із цих посилань, назву веб-сторінки та будь-яку іншу відповідну інформацію. Вони відслідковують вже завантажені URL-адреси, щоб уникнути завантаження цієї ж сторінки знову. Поєднання таких політик, як політика повторного відвідування, політика вибору, політика паралелізації та політика ввічливості визначає поведінку веб-сканера. Перед веб-сканерами є багато проблем, а саме велика і постійно розвивається всесвітня павутина, компроміси щодо вибору вмісту, соціальні зобов’язання та стосунки з супротивниками.
Веб-сканери є ключовими компонентами веб-пошукових систем і систем, що розглядають веб-сторінки. Вони допомагають в індексації записів в Інтернеті та дозволяють користувачам робити запити проти індексу, а також надають веб-сторінки, які відповідають запитам. Ще одне використання веб-сканерів - у веб-архівуванні, що передбачає періодичне збирання та архівування великих наборів веб-сторінок. Веб-сканери також використовуються при обробці даних, де сторінки аналізуються на різні властивості, як-от статистика, а потім аналізують дані.