Как происходит индексация страницы. Для того, чтобы Ваша страница была проиндексирована, поисковый робот должен ее посетить. Здесь существует только два варианта бесповоротных и окончательных.

Индексация страницы последует после непосредственного принудительного добавления, ее адреса в форму регистрации поисковой системы, но это не дает гарантий, что страница будет проиндексирована. Такой вариант используется, когда страница абсолютно новая, и ее адрес еще не известен поисковым роботам. При добавлении страницы в поисковую систему, достаточно указывать только основную страницу, снабдив ее внутренними ссылками на все остальные. Проводя индексацию страницы, поисковый робот найдет все остальные по ссылочному содержимому, и впоследствии проиндексирует.

Нахождение адреса страницы на уже проиндексированных ресурсах. Такой вариант индексации страницы наиболее предпочтителен, так как поисковый робот придет на Ваш сайт по ссылке с другого ресурса, на котором она расположена. Но есть определенный минус, на это понадобится больше времени, чем в первом варианте (хотя не факт). В любом случае, если на вновь появившеюся страницу, есть хоть одна ссылка в сети, то поисковые роботы обязательно спустя некоторое время перейдут по ней и проведут ее индексацию.

Так как мы живем в России, то и сайты мы делаем в основном для русскоязычной части аудитории, поэтому наиболее важно, чтобы проиндексированы страницы были в российских поисковых системах. В первую очередь в Яндексе, он является основным источником русского трафика, затем в Рамблере, Апорт и уже потом во всех остальных.

Индексация страницы каждой в отдельности, также управляема, как и Ваш сайт в целом. Пультом управления индексацией, служит специальный файл robots.txt, который обязательно должен располагаться в корневом каталоге сайта, и в первую очередь поисковый робот обращается именно к нему. По сути его роль проста, и заключается она в том, чтобы запрещать индексировать отдельные страницы сайта.

Здесь же можете управлять периодом, через какое время поисковый робот должен посетить Ваш сайт снова, и проиндексировать заново. Но учтите, что это целесообразно при обновлении страниц и добавлении на них информации, за указанный роботу промежуток. Если поисковый робот будет приходить, через установленный в файле robots.txt промежуток времени, и не видеть обновление сайта, то вскоре он может надолго забросить Ваш ресурс.

Если файл robots.txt, не будет найден поисковым роботом, ничего страшного нет, просто по умолчанию будет разрешена индексация всех страниц сайта. Но если Вы хотите, чтобы некоторые отдельно взятые страницы или директории небыли проиндексированы, то без файла robots.txt, не обойтись. Например к таким страницам запрещенным к индексации, могут относится страницы которые не несут в себе полезную информацию для пользователя или страницы с коммерческими данными.

Качественная индексация страницы, вот залог успеха любого проекта. Не все вебмастера понимают, что в своей деятельности они иногда, сами того не зная, строят препятствия для качественной индексации сайта поисковыми роботами. Совершая те или иные ошибки, они подвергаются риску, что страницы могут выпасть из индексации или быть занижены при ранжировании сайтов, и утратить ранее занимаемые первые позиции.

Рассмотрим распространенные ошибки, которые могут отрицательно повлиять на индексацию страниц:

Первая проблема индексации страниц – это использование динамических страниц. При посещении таких страниц, роботы поисковых систем выявляют одну и ту же страницу с разными идентификаторами сессий. То есть по сути, когда пользователь заходит на такие страницы он видит одно и тоже, но поисковый робот определяет их как разные. Примером может послужить печатная версия страницы сайта, рано или поздно поисковая система может «склеить» эту страницу с основной, которая отображается в браузере и в последствии в результатах выдачи, будет выводится именно печатная версия, а не основная страница, которую Вы бы хотели предоставить пользователю.

Решение проблемы: как раз пример того, где необходимо использовать файл robots.txt, для установки запрета индексации страницы для печати.

Использование в дизайне сайта флеш и большого количества графических элементов. Как известно поисковые системы не могут индексировать на страницах флеш и графику, они ее попросту не видят. Я понимаю стремление вебмастеров, сделать самый яркий и привлекательный сайт, но применяя флеш в дизайне сайта, Вы тем самым затрудняете индексацию страниц.

Решение проблемы: куда полезнее будет обойтись без анимированного содержимого на странице, если от этого не откажитесь, то будьте готовы, что индексация страницы сайта, будет выполнена некорректно. С графикой дела обстоят немного проще, можно графическому файлу присвоить значение альтернативного атрибута «alt», которое будет выводиться браузером при невозможности или запрете отображения графики. Значение присвоенное атрибуту «alt» прекрасно читается и индексируется поисковым роботом, также будет полезно включать в текст атрибута ключевые слова.

Установка в коде страниц скриптов различного предназначения, в том числе сюда относится использование выпадающего меню сайта. Поисковый робот не читает элементы сделанные на основе скриптов, и использование их, также становится преградой для качественной индексации страницы.

Решение проблемы: замена выпадающего меню выполненного на основе скрипта, на текстовое с присвоением ссылок или же графическое с альтернативным атрибутом. Заключение скриптов в теги <noindex></noindex >, позволяющих запретить индексацию отдельных элементов на странице. Уменьшить объем использования скриптов на странице.

Индексация страницы не будет выполнена, если размер или вес страницы менее 1кб. Поисковый робот Яндекса не воспринимает такие страницы, как составляющие сайта и не индексирует файлы такого размера.

Решение проблемы: такую проблему решить довольно, просто. Увеличить размер в большую сторону, хотя вряд ли, сейчас найдется страница размером менее 1кб.

Индексация страницы не произойдет, если на страницу не будет ссылки с главной или сопутствующей ей страницы. Подразумевается под этим следующее: поисковый робот во время индексации, читает содержимое страниц и далее карабкается по ссылочному содержимому на другие страницы сайта, и если на них будет отсутствовать ссылка, то ему не добраться до них, тем самым невозможно выполнить индексацию. Хотя логично, если не будет ссылки то и пользователь не сможет перейти на эту страницу.

Решение проблемы: установка ссылок на внутренние страницы сайта, желательно чтобы удаление каждой внутренней страницы от главной не превышало 3 кликов мыши в попытке добраться до нее. Создание карты сайта, с включением всех разделов и страниц ресурса – значительно ускорит процесс индексации сайта.

Плагиат контента - имеется ввиду воровство текстового содержимого с другого ресурса, в этом случае, при индексации может произойти "склейка" страниц из-за одинакового содержимого. От этого выйграет только первый владелец, так как получит дополнительную ссылку на свой сайт.

Решение проблемы: Писать уникальный контент сайта самому или заказывать в сервисе копирайтеров в сети за определенную плату. Не заниматься воровством и нарушением авторских прав.

В результате можно подвести итог сказанного в этом разделе. Нельзя упускать моменты, которые отрицательно могут сказаться на качестве индексации страницы. Всегда следует стремиться исправлять ошибки, если они были допущены. Знание когда поисковый робот посещает Ваши страницы и умение им управлять, незаменимый инструмент в продвижении сайта, и Вы будете на шаг впереди своих конкурентов.

Источник: webmaster.wmsite.ru