В этой статье мы с вами изучим степень дружественности вашего сайта к поисковым движкам. Доступность сайта для поисковиков позволяет им определить, что за контент на нем находится. Когда в последствии поисковой движок получит какой то запрос, он определит, соответствует ли ему контент на вашем сайте.
Делаем сайт доступным для поисковых движков
Для начала следует сделать так, чтобы ваш сайт можно было найти и чтобы по нему могли ползать пауки поисковых движков. Это не так просто как может показаться на первый взгляд, поскольку есть масса популярных схем и реализаций, которые пауки могут не понять.
Индексируемый контент
Для хорошего рейтинга в поисковых движках контент вашего сайта (т. е. материал, доступный посетителям вашего сайта) должен быть в форме текстового HTML. Изображения, Flash-файлы, Java-апплеты и прочий нетекстовый контент - все это по большей части практически невидимо для пауков поисковых движков (несмотря на все развитие технологий просмотра).
Хотя самым простым способом обеспечения видимости ваших демонстрируемых пользователям слов и фраз является размещение контента в виде HTML-текста на странице сайта, но все же имеются и более продвинутые способы для тех, кто требует больших возможностей форматирования или стилей визуального отображения.
Структуры ссылок по которым могут ползать пауки
Поисковые движки используют ссылки, расположенные на wed-страницах, для того чтобы найти другие wed-страницы и wed-сайты. Поэтому разработчикам сайтов необходимо потратить время и построить такую структуру ссылок, по которой с легкостью смогут проползти пауки. Большинство сайтов допускают критическую ошибку - прячут или затемняют навигацию и затрудняют работу паукам, тем самым не давая включать страницы в индекс движков поиска.
Основные причины того, почему страницы могут быть недосягаемыми:
- Ссылки в виде форм.
Поисковые пауки не будут даже пробывать заполнять формы, поэтому весь контент или ссылки, которые доступны лишь через форму, будут невидимы для пауков.
- Ссылки в неподдающимся разбору javascript.
Если вы используете для ссылок javascript, то заметите, что поисковые движки либо совсем не просматривают встроенные в них ссылки, либо дают им минимальный вес.
- Ссылки внутри Flash, Java и других дополнительных модулях.
Ссылки встроенные в Java и другие дополнительные модули, невидимы поисковым движкам. Случается что поисковые движки обнаруживают ссылки внутри Flash, но не стоит слишком на это надеяться.
- Ссылки в файлах PowerPoint и PDF.
Файлы PowerPoint и PDF ни чем не отличаются от Flash, Java и дополнительных модулей. Иногда поисковые движки сообщают о расположенных ссылках внутри PowerPoint и PDF, но какой вес они получают неизвестно...
- Ссылки на страница, блокированные мегатегом Robots, rel="NoFollow" или robots.txt.
Файл robots.txt представляет из себя очень простое средство для предотвращения просмотра пауками страниц вашего сайта. При использовании атрибута NoFollow для ссылки или размещение на странице с сылкой тега Robots, дает указание для поискового движка не передавать "ссылочный сок" по этой ссылке.
- Ссылки на страницах со многими сотнями и тысячими ссылок.
Компания Гугл предложила использовать не более 100 ссылок на странице, поскольку паук может прекратить просмотр остальных ссылок этой страницы. Этот "предел" имеет некоторую гибкость и особенно важные страницы могут иметь до 150-200 отслеживаемых ссылок. Однако, лучше придерживаться до 100 ссылок на одну страницу, иначе вы рискуете потерять возможность просмотра пауками всех тех страниц, которые выходят за рамки предельного значения.
- Ссылки в фреймах или i-фреймах.
Технические ссылки во фреймах или i-фреймах просмотреть можно, но они представляют из себя структурные проблемы для движков поиска в плане организации и отслеживания. Если вы не являетесь квалифицированным пользователем, который хорошо разбирается как поисковые движки индексируют и двигаются по ссылкам во фреймах, то лучше не стоит использовать их в качестве места размещения ссылок для просмотра.
