Як правильно видалити сторінку з сайту без шкоди для SEO

Кожен власник будь-якого з інтернет ресурсів повинен знати та пам’ятати, що неправильне видалення сторінок із сайту негативно позначається на якості SEO. Це пов’язано з помилкою в системі: коли відбувається Видалення сторінок із сайту, посилання на цю сторінку ще знаходиться в контрольному списку роботів Google.

Крім того, наявність подібних сторінок призводить до інших не менш важливих проблем:

• Втрата довіри з боку користувачів до конкретного сайту.
• Зниження рейтингу сайту, яке відбувається у системі Google.

Але в деяких ситуаціях видалення сторінок із сайту не уникнути: що робити в такому випадку та як правильно виконати весь процес?

Основні причини видалення сторінок із сайту

Причин, через які відбувається видалення URL з результатів пошуку Google за допомогою Google Search Console або інших способів, може бути одразу кілька. Серед найпоширеніших варто зазначити:

• застарілий контент на окремих сторінках;
• недостатньо сильна технічна структура;
• неякісний дизайн;
• невідповідність політиці щодо змісту та інше.

Перед видаленням слід здійснити аудит контенту. В окремих випадках достатньо залишити сторінку, але очистити її – видалити весь вміст або скористатися перенаправленням.

Аудит контенту та його покращення

Аудит контенту – важлива та корисна процедура, завдяки якій вдасться перевірити якість контенту на певній сторінці. Іноді достатньо покращити контент, внісши кілька незначних змін, правок. Якщо існуючий контент застарів, можна перенаправити користувача на сторінку з новим контентом.

Видалення сторінки після проведеного аудиту контенту необхідно у разі, коли застаріла структура цього контенту. Внаслідок цього навіть після внесених змін не вдасться виправити ситуацію.

Редирект 301 або перенаправлення користувачів

Редирект 301 – спеціальний код, який означає, що сторінка була переміщена на іншу адресу. Використати редирект 301 рекомендується у випадках, коли доцільно перенаправити користувача зі старого контенту на сторінку з новим контентом. В результаті потрібно скористатися простим і зрозумілим способом – відвідати cPanel з метою створення перенаправлення.

Для використання редиректу 301 необхідно виконати такі дії:

1. Зайти в налаштування домену.
2. Вибрати “Перенаправлення”.
3. Вибрати 301.
4. Перенести URL-адреси (старі та нові) у відповідні поля.

Ще один не менш популярний варіант встановити Yoast SEO Premium на сайт, розроблений на WordPress.

Який контент не потребує індексації

Індексація – процес, при якому відбувається збір та подальше внесення інформації про контент конкретного сайту до бази пошуковика. Однак далеко не завжди індексація дійсно потрібна та корисна для окремих сторінок.

Зазначають певний список сторінок, які не потребують індексації:

• Рекламні односторінкові сайти.
• Результати пошуку в інтернет ресурсах.
• Сторінки адміністратора.
• Сторінки подяки та інше.

Крім того, існують й інші не менш поширені причини, через які сторінки в Google потрібно приховувати: дублювання контенту, канібалізація ключових слів, краулінговий бюджет. Розглянемо детальніше кожну з можливих причин.

Дублювання контенту/сторінок

Дублювання контенту призводить до того, що однакові версії контенту/сторінок з’являтимуться у пошуку. Причому, контент на таких сторінках може збігатися частково або повністю. Дублювання контенту негативно впливає на SEO, а тому слід регулярно перевіряти сторінки, позбавляючись схожого змісту.

Канібалізація ключових слів

Ще одне не менш поширене поняття – канібалізація ключових слів. Під цим поняттям прийнято розглядати процес, коли абсолютно однакові сторінки сайту починають конкурувати між собою за пошукові запити. Це відбувається через те, що відразу кілька сторінок пройшли оптимізацію під однакові ключові слова. Унаслідок канібалізації ключових слів пошукові системи не можуть точно визначити, яку сторінку можна назвати найбільш релевантною, відштовхуючись від певних призначених для користувача запитів.

Нераціональне застосування краулінгового бюджету або краулінговий ліміт

Краулінговий бюджет – це обмежений ресурс (краулінговий ліміт), який пошуковики виділяють для процедури індексації сторінок з метою їхнього подальшого сканування за допомогою ботів. Якщо відбувається процес надмірної витрати краулінгового бюджету, нераціональних розтрат, такі сторінки слід приховувати від Google. В іншому разі Google витрачатиме надто багато часу на пошук сторінок, які не приносять достатньо користі. Замість цього система може витрачати час на індексацію більш корисного контенту.

Основні способи видалення URL з результатів пошуку Google

З метою запустити видалення URL з результатів пошуку Google необхідно розглянути певний список основних способів:

Теги noindex

Якщо робот виконає процес сканування сторінки з цією директивою (тег noindex), він автоматично виконає її видалення з результатів пошуку.

Щоб додати тег noindex, можна вибрати один із двох перевірених способів:

1. Використовувати теги у HTML-кодах сторінки.
2. Налаштувати повернення заголовка noindex у відповіді HTTP.

Додавати такі теги особливо зручно з використанням різноманітних CMS-систем.

Файл robots.txt

Використовуючи файл robots.txt, можна з легкістю надати пошуковій системі спеціальну «інструкцію», де буде вказано перелік розділів/сторінок, які можна і потрібно просувати. Переваги використання файлів robots.txt безпосередньо пов’язані зі суттєвою економією краулінгового ліміту.

Видалення сторінки: 404 або 410 відповідь сервера

404 і 410 відповідь сервера свідчать, що відразу після сканування сторінку буде автоматично видалено з індексу. Обидва коди виконують однакові функції, але 410 відповідь сервера вважається більш швидким та зручним.

Робота з Google Search Console

Можливості Google Search Console дозволяють виконувати тимчасове блокування – спеціально для цього передбачено покрокову інструкцію всіх дій. Для повноцінного та остаточного видалення потрібно буде отримати 404 або 410 відповідь сервера.

Канонічний тег (rel=”canonical”)

Використовуючи канонічний тег (rel=”canonical”), можна легко позбутися таких поширених проблем, як наявність дубльованого контенту. В результаті вдасться визначитись і точно вказати: яку сторінку можна і треба вважати головною, а отже, дозволено індексувати. Таким чином, канонічний тег (rel=”canonical”) часто порівнюють зі спеціальними “підказками”, а тому Google може їх ігнорувати.

Як зберегти якість сайту при видаленні сторінок: основні ризики

Видалення кількох сторінок не тільки позитивно впливає на краулінговий ліміт, але й надає власнику ще пару важливих переваг.

Відзначають кілька моментів, за яких грамотне видалення дійсно допомагає:

Однак якість сайту може бути зіпсована, якщо припуститися деяких помилок у своїх діях. Необхідно розглянути найпоширеніші ризики.

Вхідні посилання

Один із перших та можливих ризиків – вхідні посилання. Часто відбувається видалення сторінок, де вже є вхідні посилання, які мають прямий вплив на процес ранжирування. В результаті при видаленні сторінок із вхідними посиланнями відбувається втрата даних сигналів.

Внутрішні посилання

Усі сторінки на сайті повинні мати якісне перелінкування між собою – внутрішні посилання. Таке рішення позитивно впливає на посилальну вагу, забезпечує необхідну релевантність. Тому при видаленні сторінок всі внутрішні посилання також пропадають, що негативно позначається на релевантності, PageRank сторінок.

Сезонні коливання трафіку

Трендові та сезонні коливання трафіку призводять до різних проблем у стабільній роботі інтернет-ресурсу. У цьому випадку трафік може бути досить низьким або практично нульовим, але окремі періоди трафік може знову відновлюватися. Це вказує на поширені сезонні коливання трафіку. При видаленні деяких сторінок слід завжди пам’ятати про можливі тимчасові/сезонні коливання трафіку, а отже в ході аналізу рекомендується враховувати разом з останньою інформацією з пошукового трафіку та оцінку за весь період.

Шляхи конверсії

Розглядаючи всілякі шляхи конверсії, необхідно пам’ятати, що конверсію часто називають поступовим, не надто швидким процесом. Наприклад, під час відвідування користувачами одразу кількох сторінок. Далеко не всі сторінки доступні в одному сеансі – деякі з них можуть перебувати в різних сесіях, на різних пристроях/акаунтах. Тому важливо простежити всі шляхи конверсії. Адже при видаленні подібних сторінок, ігноруванні шляхів конверсії виникають проблеми із SEO.

Непошуковий трафік: ретельне сканування сайту

Якісне сканування сайту дає змогу визначити отриманий трафік, який не завжди приходить виключно з пошукових систем. Наприклад, деякі сторінки на сайті отримують внутрішній трафік (перелінковка сторінок). Крім того, розглядається варіант отримання прямого трафіку (з використанням закладок). При видаленні подібних сторінок відбуваються проблеми з подальшим просуванням, про що «підкаже» сканування сайту після проведених процедур.

Обробка статусу коду 404 на сайті та статусу коду 410: рекомендації від веб-майстрів Google

Виконуючи самостійне сканування сайту, багато веб-майстрів запитують: як саме Google виконує обробку віддалених сторінок з урахуванням статусу певного коду. Сьогодні розрізняють два найбільш поширені варіанти, що часто використовуються:

1. Статус код 410 – сервер надсилає таку відповідь через те, що раніше сайт був доступний за конкретним URL, але на даний момент видалений, вважається недоступним. В результаті сервер нічого не знає про нову адресу сторінки, її копії .
2. Статус код 404 на сайті – Така помилка ще більш відома під назвою “Not Found”. Цей стандартний код вказує на готовність клієнта працювати з сервером, але сервер не зміг знайти дані щодо вказаного запиту.

Розглядаючи подібні статуси в різних перспективах (середньо- та довгострокова), можна зробити висновок, що для Google обидва коди вважаються практично однаковими.

Але все ж таки невелика різниця, відмінність є і полягають у такому: статус код 410 іноді випадає трохи швидше порівняно зі статусом коду 404 на сайті. У результаті під час використання коду 410 можна трохи прискорити процес видалення сторінки з індексу. Такий варіант часто застосовують у випадку з хакерськими атаками, коли власник сайту бажає якнайшвидше позбутися сторінок із вірусом, щоб користувачі, пошукова система не асоціювала їх із конкретним сайтом.

Швидке і правильне видалення сторінок: основні висновки

Перед початком запуску процесу видалення однієї або одразу кількох сторінок слід зважити всі «за» і «проти». Важливо зрозуміти, чи справді потрібне видалення і, які саме методи варто використовувати. Необхідно посилатися на алгоритми Google, щоб після видалення сторінок або окремого контенту сайт продовжив успішно індексуватися. Тому не варто видаляти сторінки, якщо в цьому немає жодної гострої потреби. Якщо ж видалення не уникнути, тоді це рекомендується робити через 410 відповідь сервера.