Безусловно, идеальный поисковик должен иметь всякую страницу в сво­ем индексе сразу же, как только она появилась. И существующие поисковики к этому стремятся. Однако огромный объем Интернета ставит здесь свои пре­пятствия и ограничения.

От обхода раз в месяц в начале текущего века Яндекс и Рамблер к настоя­щему времени добрались до еженедельной индексации. Однако, поскольку есть такие типы информации (новости, цены, курсы валют), для которых обновле­ние раз в неделю — это чрезвычайно медленно, поисковики имеют специально­го "быстрого робота", который может обходить быстро изменяющиеся сайты по нескольку раз в день.

Каким образом сайты попадают в списки такого быстрого робота — отде­льный разговор. Поисковик имеет механизмы "самообучения" быстрого робо­та. Если ваш сайт уже достаточно авторитетен (имеет высокий ссылочный ранг) и при этом имеет много страниц, которые часто изменяются, у него довольно много шансов быть замеченным "быстрым роботом".