Результаты аудита большинства сайтов показывают, что многие вебмастера допускают одни и те же ошибки в техническом плане. Эти недочеты влияют на продвижение сайта по-разному, одни виды ошибок не позволяют поисковым роботам быстро индексировать страницы сайта, другие дают потенциальную уязвимость для конкурентов использовать эту техническую особенность для своих коварных целей, третьи же ошибки могут в последствии сыграть негативную роль в плане продвижения и позиций. Ниже описаны наиболее часто встречаемые технические недоработки и методы их исправления.
Доступность домена по разным адресам
Когда один и тот же ресурс доступен по разным URL-адресам, например, с префиксом www и без этого префикса, и при этом они не склеены между собой, возникает проблема дублированного контента. Поисковые роботы в данном случае могут посчитать, что по одному из адресов контент не уникален и поместить его в дополнительные результаты поиска. Не всегда выбранный поисковиком адрес дубля устраивает владельца сайта, поэтому следует избегать этой ошибки, склеивая между собой основной домен с неосновным зеркалом или со всеми алиасами домена.
Как проверить наличие ошибки?
Введите в адресную строку браузера адрес сайта с www. и без www. Если сайт доступен и в первом и во втором случае и при этом в файле robots.txt не прописана директива Host, тогда вы не выбрали основной домен для продвижения.
Как исправить ошибку?
Необходимо в файле robots.txt всех зеркал добавить директиву Host с указанием основного домена, например.
User-Agent: Yandex
Host: www.maindomain.ru
Где домен www.maindomain.ru (без http) является выбранным вами основным доменом. См. также статью о продвижении сайтов с помощью зеркал.
К тому же следует поставить 301 редирект с неосновного домена на основной. Таким образом, при вводе, например, адреса http://maindomain.ru/articles/ в браузер, пользователя должно редиректить на основной домен http://www.maindomain.ru/articles/.
Доступность главной страницы по разным адресам
Главная страница сайта должна быть доступна лишь по основному адресу http://www.maindomain.ru/. Если она доступна также и по другим адресам, например, http://www.maindomain.ru/index.php, то возникает ошибка дублированного контента, из-за которой возможно падение позиций сайта при удобном стечении обстоятельств (сочетании других факторов).
Как проверить наличие ошибки оптимизации?
Необходимо ввести в браузер адрес с index.php или index.html, например,
http://www.maindomain.ru/index.php
Если страница доступна и нет редиректа на основной домен, то ошибка существует. Также найти дубли главной страницы можно, введя в кавычках её TITLE в поиске Яндекса или Google, анализируя результаты выдачи.
Как исправить ошибку дублирования главной страницы?
Для исправления этой ошибки следует также использовать 301-ый редирект с дублей на основной домен, либо отдавать 404-ую ошибку (страницы не существуют). До этого следует из результатов поиска удалить все дубли (например, это делается с помощью панели для вебмастеров в Google). Редирект, при использовании apache и mod_rewrite, можно сделать следующими строками:
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/index.(.+)$
RewriteRule ^.*$ http://%{HTTP_HOST}/ [R=301,L]
Большой уровень вложенности страниц
Не совсем технический аспект, но часто эта ошибка оптимизации возникает из-за неправильной работы CMS (нехватки каких-либо модулей).
При индексации контента сайта, поисковый робот ходит по внутренним ссылкам со страницы на страницу по определенному алгоритму и своему расписанию. Документ с большим уровнем вложенности (более 3-4, то есть те страницы, которые доступны в минимум 3-4 и более кликах по ссылкам от главной) поисковики дают минимальный приоритет, что означает, что до этих страниц очередь переиндексации может дойти не скоро и старый контент может оставаться в индексе поисковых систем месяцами или даже годами. Это логично, так как страницы с большим уровнем вложенности обычно менее приоритетны для пользователей и имеют низкую вероятность посещений, а соответственно, и малый статический вес (ничтожный по сравнению со страницами 2-3 уровня вложенности).
Как найти страницы на сайте с большим уровнем вложенности?
Для поиска таких страниц можно использовать бесплатный инструмент Xenu Link Sleuth, который также позволит найти и другие ошибки.
Как исправить ошибку больших уровней вложенности?
Следует не допускать на сайте наличие подобных страниц и разделов. Если их возникновение неизбежно, тогда используйте стандартные средства перелинковки: html карту сайта, облака ключевых слов, древовидное меню, разделы “похожие статьи” для статей и новостей и другие методы перелинковки.
Наличие несуществующих страниц
Известная ошибка, когда для несуществующих документов выдается главная (или другая) страница сайта с 200-ым кодом ошибки, а не с 404-ым. В данном случае, опять же, может возникнуть проблема дублированного контента.
Как определить наличие ошибки?
Ввести в адресную строку браузера любую несуществующую страницу анализируемого сайта, например,
http://yandex.ru/not/exists
Если в HTTP заголовках выдается HTTP/1.1 404 Not Found, то все нормально, сайт отдает 404-ую ошибку. Если же в заголовках присутствует 200 ошибка или 304-ая (Not Modified), то следует исправить этот недочет.
Как исправить ошибку?
Необходимо для несуществующих страниц выдавать соответствующий код, чтобы поисковый робот не добавлял их в индекс. Обычно это настраивается в используемой CMS. Если у вас нет таких настроек, тогда проверьте .htaccess файл или обратитесь к разработчикам вашей сисетмы управления контентом.
Другие технические ошибки оптимизации
Также существуют некоторые другие, менее популярные технические аспекты, которые не учитываются оптимизаторами или вебмастерами при продвижении сайтов. К ним относятся:
— Ошибки в движке сайта
Формирование дублей, добавление параметров сессий в URL-адреса, неверные коды ответов страниц, ошибки в .htaccess-файле.
— Открытые серверные логи
Увеличивают количество неинформативных страниц в индексе поисковой системы, уменьшая доверие к сайту и скорость индексации важного контента.
— Низкая скорость отдачи страниц
Скорость отдачи страниц пользователю является одним из факторов ранжирования с недавнего времени. Чем больше вы заботитесь о пользователях, тем больше доверия получаете и от поисковых систем.
Анализируйте свои сайты самостоятельно или заказывайте аудит, выявляйте технические ошибки и устраняйте их. Успехов в оптимизации!
Источник: