Как улучшить индексацию сайта в поисковых системах

До того, как сайт появится в результатах поиска, он должен быть проиндексирован поисковой системой.

Индексация означает, что поисковый робот посетил ваш сайт, проанализировал его и сохранил копию страницы в свою базу данных.

Когда страница занесена в индекс поисковика, то она может быть показана в результатах поиска. При отсутствии страницы в индексе она никак не участвует в поисковой выдаче, т.к. поисковый робот ее просто не использует.

Большинство сайтов не крупных размеров (то есть содержащих несколько десятков или сотен страниц) обычно не испытывают никаких проблем с правильной индексацией поисковыми системами. Однако, есть несколько моментов, которые стоит учитывать при seo-оптимизации сайта.

Как индексирует сайт поисковая система

1. ручное добавление адреса сайта через соответствующую форму поисковой системы. В этом случае вы сами сообщаете поисковой системе о новом сайте и его адрес попадает в очередь на индексацию. Добавлять следует только главную страницу сайта, остальные будут найдены поисковым роботом по ссылкам или при помощи карты сайта (большинство крупных поисковых систем поддерживают карты сайта как в .XML, так и в обычном .HTML формате);
2. предоставить поисковому роботу самостоятельно найти ваш сайт. Если на ваш новый ресурс есть хотя бы одна внешняя ссылка с других ресурсов, уже проиндексированных поисковой системой, то поисковый робот в короткие сроки сам посетит и проиндексирует ваш сайт. В большинстве случаев рекомендуется использовать именно этот вариант, то есть получить несколько внешних ссылок на сайт и просто дождаться прихода робота. Ручное добавление сайта может даже удлинить время ожидания.

Время необходимое для индексации сайта различно. Как правило робот приходит на ресурс в течение от 2-3 дней до 2 недель, в зависимости от загруженности поисковой системы. Быстрее всех индексирует сайты поисковая система Google: уже через несколько часов после ручного добавления сайта робот во всю его сканирует.

Поисковый робот, так же как и программисты не любит запутанный веб-код. Для полной индексации сайта постарайтесь сделать его как можно дружественнее.

Почему Яндекс не индексирует сайт

1. любые страницы вашего сайта, по возможности, должны быть не глубже чем в 3-х кликах, начиная переход с главной страницы. Если структура сайта сделать этого не позволяет, то сделайте так называемую карту сайта, которая позволит выполнять указанное правило;
2. не повторяйте распространенных ошибок. Идентификаторы сессий затрудняют индексацию. Если вы используете навигацию через скрипты, то обязательно дублируйте ссылки обычным образом — поисковые системы не умеют читать скрипты;
3. помните, что поисковые системы индексируют не более 100-200 кб текста на странице. Для страниц большего объема будет проиндексировано только начало страницы (первые 100-200 кб). Запомните правило — не используйте страницы размером более 100 кб, если хотите, чтобы они были проиндексированы полностью.

Поисковые роботы прекрасно понимают файл правил robots.txt Управляйте поведением поисковика с помощью этого файла. В нем можно разрешить или запретить для индексации те или иные страницы.

Также существует специальный тег «NOINDEX», позволяющий закрыть для индексации отдельные части страницы, однако этот тег поддерживается только российскими поисковыми системами. Полностью запретить страницу от индексации можно поместив этот тег в HEAD-область.

Сколько времени Яндекс индексирует сайт

Базы данных поисковых систем постоянно обновляются. Записи в базе постоянно изменяются и обновляются, исчезают и появляются снова. Поэтому число проиндексированных страниц вашего сайта может периодически меняться.

Одной из наиболее частых причин исчезновения страниц из индекса является недоступность сервера, то есть поисковый робот при попытке индексации сайта не смог получить доступ к нему. После восстановления работоспособности сервера сайт должен появиться в индексе снова через некоторое время.

Хочу также заметить, что чем больше внешних ссылок имеет ваш сайт, тем быстрее происходит его переиндексация.

Отследить процесс индексации сайта можно с помощью анализа лог-файлов сервера, в которых записываются все визиты поисковых роботов.

---