Веб-сканер - это программа, которая автоматически пересекает Веб, загружая страницы и следуя ссылкам со страницы на страницу. Общей целью веб-сканера является загрузка любой веб-страницы, доступ к ней можно получить по ссылкам. Этот процесс называется веб-сканирования или паука. Многие сайты, в частности поисковые системы, используют паукообразных в качестве средства предоставления самых новых данных. Веб-сканеры в основном используются для создания копии всех посещенных страниц для более поздней обработки поисковой системой, которая будет индексировать загруженные страницы для обеспечения быстрого поиска. Crawlers также могут использоваться для автоматизации задач обслуживания на веб-сайте, таких как проверка ссылок или проверка HTML-кода. Кроме того, сканеры могут быть использованы для сбора определенных типов информации с веб-страниц, таких как сбор урожая ING адреса электронной почты (как правило, для спама). Веб-сканер — это один из типов ботов или программных агентов. В общем, она начинается со списка URL-адресов для посещения, называется семена. Когда сканер посещает эти URL-адреса, он определяет все гиперссылки на странице и добавляет их в список URL-адресов для посещения, называемый границей обхода. URL-адреса с границы регулярно посещаются в соответствии с набором политик.
история версии
- Версия 3.19 размещено на 2012-01-15
первый публичный релиз
Подробная информация о программе
- Категории: Системные коммунальные услуги > Инструменты автоматизации
- Издателя: VietSpider
- Лицензии: Бесплатный
- Цена: N/A
- Версия: 3.19
- Платформы: windows