Как правильно удалить страницу(цы) с сайта без ущерба для SEO

Каждый владелец любого из интернет ресурсов должен знать и помнить, что неправильное удаление страниц с сайта негативно сказывается на качестве SEO. Это связано с возникшей ошибкой в системе: когда происходит удаление страниц с сайта, ссылка на данную страницу еще находится в контрольном списке роботов Google. 

Кроме того, наличие подобных страниц приводит к другим не менее важным проблемам:

• Потеря доверия со стороны пользователей к конкретному сайту.
• Снижение рейтинга сайта, которое происходит в системе Google.

Но в некоторых ситуациях удаления страниц с сайта не избежать: что делать в таком случае и как правильно выполнить весь процесс? 

Основные причины удаления страниц с сайта

Причин, по которым происходит удаление URL из результатов поиска Google с помощью Google Search Console или других способов, может быть сразу несколько. Среди наиболее распространенных стоит отметить:

• устаревший контент на отдельных страницах; 
• недостаточно сильная техническая структура;
• некачественный дизайн;
• несоответствие политике, касаемо содержания и другое.

Перед удалением следует провести аудит контента. В отдельных случаях достаточно оставить страницу, но очистить ее – удалить все содержимое или же воспользоваться перенаправлением. 

Аудит контента и его улучшение

Аудит контента – важная и полезная процедура, благодаря которой удастся проверить качество контента на определенной странице. Иногда достаточно улучшить контент, внеся несколько незначительных изменений, правок. Если же существующий контент устарел, можно перенаправить пользователя на страницу с новым контентом.

Удаление страницы после проведенного аудита контента необходимо в случае, когда устарела структура данного контента. В результате даже после внесенных изменений не удастся исправить ситуацию.

Редирект 301 или перенаправление пользователей 

Редирект 301 – специальный код, который обозначает, что страница была перемещена на другой адрес. Использовать редирект 301 рекомендуется в тех случаях, когда целесообразно перенаправить пользователя со старого контента на страницу с новым контентом. В результате предстоит воспользоваться простым и понятным способом – посетить cPanel с целью создать перенаправление.

Для использования редиректа 301 необходимо выполнить следующие действия:

1. Зайти в настройки домена.
2. Выбрать «Перенаправления».
3. Выбрать 301.
4. Перенести URL-адреса (старые и новые) в соответствующие поля.

Еще один не менее популярный вариант – установить Yoast SEO Premium на сайт, разработанный на WordPress.

Какой контент не нуждается в индексации 

Индексация – процесс, при котором происходит сбор и дальнейшее внесение информации про контент конкретного сайта в базу поисковика. Однако далеко не всегда индексация действительно нужна и полезна для отдельных страниц.

Отмечают определенный список страниц, которые не нуждаются в индексации:

• Рекламные одностраничные сайты.
• Результаты поиска на интернет ресурсах.
• Страницы администратора.
• Страницы благодарности и прочее.

Кроме того, существуют и другие не менее распространенные причины, по которым страницы в Google нужно скрывать: дублирование контента, каннибализация ключевых слов, краулинговый бюджет. Рассмотрим более детально каждую из возможных причин.

Дублирование контента/страниц 

Дублирование контента приводит к тому, что одинаковые версии контента/страниц будут появляться в поиске. Причем контент на таких страницах может совпадать частично или полностью. Дублирование контента оказывает негативное влияние на SEO, а потому следует регулярно проверять страницы, избавляясь от похожего содержания.

Каннибализация ключевых слов

Еще одно не менее распространенное понятие – каннибализация ключевых слов. Под этим понятием принято рассматривать процесс, когда совершенно одинаковые страницы сайта начинают конкурировать между собой за поисковые запросы. Это происходит по причине того, что сразу несколько страниц прошли оптимизацию под одинаковые ключевики. В результате каннибализации ключевых слов поисковые системы не могут точно определить, какую страницу можно назвать наиболее релевантной, отталкиваясь от определенных пользовательских запросов.

Нерациональное применение краулингового бюджета или краулинговый лимит

Краулинговый бюджет – это ограниченный ресурс (краулинговый лимит), который поисковики выделяют для процедуры индексации страниц с целью их дальнейшего сканирования с помощью ботов. Если происходит процесс чрезмерного расхода краулингового бюджета, нерациональных растрат, такие страницы следует скрывать от Google. В противном случае Google будет тратить слишком много времени на поиск страниц, которые не приносят достаточно пользы. Вместо этого система может тратить время на индексацию более полезного контента.

Основные способы удаления URL из результатов поиска Google

С целью запустить удаление URL из результатов поиска Google необходимо рассмотреть определенный список основных способов:

Теги noindex

Если робот выполнит процесс сканирования страницы с данной директивой (тег noindex), он автоматически выполнит ее удаление с результатов поиска. 

Чтобы добавить тег noindex, можно выбрать один из двух проверенных способов:

1. Использовать теги в HTML-кодах страницы.
2. Настроить возвращение заголовка noindex в ответы HTTP.

Добавлять подобные теги особенно удобно с использованием всевозможных CMS-систем.

Файл robots.txt

Используя файл robots.txt, можно с легкостью предоставить поисковику специальную «инструкцию», где будет указан перечень разделов/страниц, которые можно и нужно продвигать. Преимущества использования файлов robots.txt напрямую связаны с существенной экономией краулингового лимита. 

Удаление страницы: 404 или 410 ответ сервера

404 и 410 ответ сервера свидетельствуют о том, что сразу после сканирования страница будет автоматически удалена с индекса. Оба кода выполняют одинаковые функции, но 410 ответ сервера считается более быстрым и удобным.

Работа с Google Search Console           

Возможности Google Search Console позволяют выполнять временную блокировку – специально для этого предусмотрена пошаговая инструкция всех действий. Для полноценного и окончательного удаления нужно будет получить 404 или 410 ответ сервера.    

Канонический тег (rel=”canonical”)

Используя канонический тег (rel=”canonical”), можно с легкостью избавиться от таких распространенных проблем, как наличие дублированного контента. В результате удастся определиться и точно указать: какую страницу можно и нужно считать главной, а значит разрешено индексировать. Таким образом, канонический тег (rel=”canonical”) часто сравнивают со специальными «подсказками», а потому Google может их игнорировать.

Как сохранить качество сайта при удалении страниц: основные риски 

Удаление нескольких страниц оказывает не только положительное влияние на краулинговый лимит, но и также предоставляет владельцу еще пару важных преимуществ.

Отмечают несколько моментов, при которых грамотное удаление действительно помогает:

Однако качество сайта может быть испорчено, если допустить некоторые ошибки в своих действиях. Необходимо рассмотреть распространенные риски. 

Входящие ссылки

Один из первых и возможных рисков – входящие ссылки. Часто происходит удаление страниц, где уже имеются входящие ссылки, которые оказывают прямое влияние на процесс ранжирования. В результате при удалении страниц со входящими ссылками происходит потеря данных сигналов.

Внутренние ссылки

Все страницы на сайте должны иметь качественную перелинковку между собой – внутренние ссылки. Такое решение оказывает положительное влияние на ссылочный вес, обеспечивает необходимую релевантность. Поэтому при удалении страниц все внутренние ссылки также пропадают, что негативно сказывается на релевантности, на PageRank страниц.

Сезонные колебания трафика

Трендовые и сезонные колебания трафика приводят к различным проблемам в стабильной работе интернет ресурса. В данном случае трафик может быть достаточно низким или практически нулевым, но в отдельные периоды трафик может снова возобновляться. Это указывает на распространенные сезонные колебания трафика. При удалении некоторых страниц следует всегда помнить про возможные временные/сезонные колебания трафика, а значит в ходе анализа рекомендуется учитывать вместе с последней полученной информацией по поисковому трафику и оценку за весь период.

Пути конверсии

Рассматривая всевозможные пути конверсии, необходимо помнить, что конверсию часто называют постепенным, не слишком быстрым процессом. Например, при посещении пользователями сразу нескольких страниц. Далеко не все страницы доступны в одном сеансе – некоторые из них могут находиться в разных сессиях, на разных устройствах/аккаунтах. Поэтому важно проследить все пути конверсии. Ведь при удалении подобных страниц, игнорировании путей конверсии возникают проблемы с SEO. 

Непоисковый трафик: тщательное сканирование сайта

Качественное сканирование сайта позволяет определить полученный трафик, который не всегда приходит исключительно из поисковых систем. Например, некоторые страницы на сайте получают внутренний трафик (перелинковка страниц). Кроме того, рассматривается вариант получения прямого трафика (с использованием закладок). При удалении подобных страниц происходят проблемы с дальнейшим продвижением, о чем «подскажет» сканирование сайта после проведенных процедур.

Обработка статуса кода 404 на сайте и статуса кода 410: рекомендации от веб-мастеров Google

Выполняя самостоятельное сканирование сайта, многие веб-мастера задаются вопросом: как именно Google выполняет обработку удаленных страниц с учетом статуса определенного кода. Сегодня различают два наиболее распространенных и часто используемых варианта:

1. Статус код 410 – сервер посылает подобный ответ по причине, если ранее сайт был доступен по конкретному URL, но на данный момент удален, считается недоступным. В результате сервер ничего не знает про новый адрес страницы, ее копии. 
2. Статус код 404 на сайте – такая ошибка еще более известна под названием «Not Found». Этот стандартный код указывает на готовность клиента работать с сервером, но сервер не смог отыскать данные по указанному запросу.

Рассматривая подобные статусы в разных перспективах (средне- и долгосрочная), можно сделать вывод, что для Google оба кода считаются практически одинаковыми. Ведь в двух случаях происходит автоматическое удаление адресов из индекса. 

Но все же небольшая разница, отличие имеются и заключаются в следующем: статус код 410 иногда выпадает немного быстрее по сравнению со статусом кода 404 на сайте. В результате при использовании кода 410 можно немного ускорить процесс удаления страницы из индекса. Такой вариант часто применяют в случае с хакерскими атаками, когда владелец сайта желает, как можно скорее избавиться от страниц с вирусом, чтобы пользователи, поисковая система не ассоциировала их с конкретным сайтом.

Быстрое и правильное удаление страниц: основные выводы 

Перед началом запуска процесса удаления одной или сразу нескольких страниц следует взвесить все «за» и «против». Важно понять, действительно ли потребуется удаление и, какие именно методы стоит использовать. Необходимо ссылаться на алгоритмы Google, чтобы после удаления страниц или отдельного контента сайт продолжил успешно индексироваться. Поэтому не стоит удалять страницы, если в этом нет никакой острой необходимости. Если же удаления не избежать, тогда это рекомендуется делать через 410 ответ сервера.