Как работает поисковый робот

Суть функционирования поискового робота состоит в нахождении новых ссылок на веб-сайтах, переход по данным ссылкам на соответствующие страницы и сбор необходимой информации о них.

Если на реально существующую страницу в глобальной сети Интернет не имеется ни одной ссылки, но на ней имеются уникальные тексты и имеются ключевые слова, то подобная страница (увы и ах) никогда не попадёт в базы поисковых систем и, соответственно, никогда не будет присутствовать в выдаче результатов поиска. То же самое происходит, если обнаруженная роботами ссылка никуда не приводит.

Помимо этого существует многие дргие обстоятельства, которые приводят к тому, что страницы ресурса игнорируются поисковыми роботами при индексации