Индексирование сайта

Индексирование сайта

Индексирование сайта:  Загрузить все вэб-страницы из указанного домена или по ссылке.

Начало сканирования сайта
Запустить URL (должен начинаться с
http:// https:// ftp:// smb:// file://)
пустой
Список URL-адресов
Ссылка на карту сайта

загрузить все файлы в этом домене
загрузить файлы только по ссылкам указанным в URL-адресе
не более чем документы

Подсказки

  • Crawl Speed Ограничение

    С одного хоста за одну секунду загружается не более четырех страниц (не более 120 документов в минуту), чтобы ограничить нагрузку на целевой сервер.

  • Целевой балансировщик

    Второе индексирование по другому хосту увеличивает пропускную способность индексирования до 240 документов в минуту с балансировкой нагрузки по всем хостам.

  • Высокоскоростное ползание

    'Медленное индексирование' не ограничено по одному хосту (или сайту) скорость индексирования которого может быть увеличена на неограниченное, когда число удалённых хостов высока. This can be done using the Expert Crawl Начинать servlet.

  • Управление планировщиком

    The scheduler on crawls can be changed or removed using Automation.