Командуем парадом, то есть поисковым роботом

Что такое поисковый робот? Это та скрытая от наших с вами глаз особь, которая и решает быть сайту на первых страницах или нет. Если говорить не на лирическом языке, то ето есть сервер, который хранит весь список URL. Не только одного округа, или страны, а все, которые только есть.

Этот поисковой робот время от времени любит индексировать сайты, то есть просматривать их содержимое, копировать содержимое и этим самым добавляя это содержимое в перечень страниц при поиске.
Именно благодаря индексации поискового робота мы и можем найти картинки отдельно от сайтов, а вложенные на сайты документы скачать формально не заходя на сайт. Вообщем, штука, так сказать, полезная. Этому роботу лучше подчиняться, иначе его немилость может обернуться для вашего сайта, засыланием в далекие-далекие края, на последние страницы поиска, куда практически ни одна живая душа не доходит.

Если вы постоянно работаете над сайтом, то есть раскручиваете его, вы можете указать частоту индексации: - робот сразу поймет, что через подчеркнутое время сюда нужно прийти вновь и вновь “перечитать” сайт, посмотреть что тут нового.

НО, есть одно БОЛЬШОЕ НО в индексации, не указывайте её чаще, чем 3-5 дней, иначе попадете в черный список поисковика и погда проблем у вас будет хоть отписывай.