Чому сторінки сайту не індексуються в Google — і як це виправити

Коротко. Сторінки не індексуються через технічні блоки (noindex, robots.txt, canonical), слабкий контент або проблеми зі скануванням. Почніть із Google Search Console: перевірте статус сторінки через «Перевірку URL», знайдіть причину в звіті «Індексування сторінок» і усуньте блок. Більшість проблем розв’язуються за кілька днів, якщо точно знати джерело.

Індексація сайту в Google — це перший бар’єр між вашим бізнесом і органічним трафіком: якщо сторінки немає в індексі, вона не з’явиться в пошуку за жодним запитом, навіть ідеально оптимізована. У наших аудитах ми регулярно бачимо ситуацію, коли власник вкладається в контент і дизайн, а половина сторінок просто відсутня в Google. За даними Ahrefs, значна частка сторінок у вебі взагалі не отримує органічного трафіку — і одна з типових причин саме в проблемах індексування.

Чому це боляче для сервісного чи B2B-бізнесу? Бо ви платите за розробку, тексти, фото — а віддачі нуль, і зовні це виглядає як «SEO не працює». Насправді SEO ще навіть не почалося: Google про ці сторінки просто не знає. Нижче розбираємо, чому сторінки сайту не індексуються, як це діагностувати в Search Console і що робити по порядку.

Індексація — це процес, коли Google спочатку сканує сторінку (заходить роботом і читає код), потім обробляє її та додає в свій індекс — величезну базу, з якої формуються результати пошуку. Якщо сторінки немає в індексі, її неможливо знайти в Google, крапка.

Важливо розрізняти три стани, які часто плутають:

• Сканування — робот Google (Googlebot) зайшов на сторінку й прочитав вміст.
• Індексація — сторінка потрапила в базу і може показуватися в пошуку.
• Ранжування — позиція сторінки серед інших за конкретним запитом.

Проблема «не індексується» живе на першому-другому етапі. Сторінка може скануватися, але не індексуватися. Або не скануватися взагалі — тоді вона точно не в індексі.

У нашій практиці був проєкт послуг, де 60 сторінок категорій були у статусі «Виявлено, не індексовано». Власник думав, що проблема в текстах. Насправді Google їх бачив, але вважав малоцінними через тонкий контент і відсутність внутрішніх посилань. Діагноз змінив усю стратегію: замість переписування всього ми зайнялися структурою й перелінковкою.

Чесно про терміни: перевірити статус конкретної сторінки — питання хвилин. Усунути системну причину й дочекатися переіндексації — від кількох днів до кількох тижнів залежно від розміру сайту.

Найточніший спосіб перевірити індексацію — інструмент «Перевірка URL» у Google Search Console. Він показує реальний статус конкретної сторінки: в індексі вона чи ні, коли сканувалася востаннє і що заважає. Запит site:домен.com у пошуку дає лише грубу оцінку й часто вводить в оману.

Робочий порядок перевірки:

1. Відкрийте Google Search Console для свого домену (якщо його немає — підключіть, це безкоштовно).
2. Зайдіть у звіт «Індексування сторінок» — побачите, скільки сторінок в індексі й скільки виключено, з розбивкою по причинах.
3. Для конкретної сторінки використайте «Перевірку URL»: вставте повний URL у поле зверху.
4. Якщо статус «URL немає в Google» — натисніть «Запросити індексування».

Чому ми не радимо покладатися на site:? Цей оператор показує приблизну вибірку, а не точну кількість, і нерідко відрізняється від реальних даних Search Console у рази. Для рішень по бізнесу потрібні дані з GSC, а не з пошукового рядка.

У наших аудитах першим ділом ми вивантажуємо звіт індексування повністю й групуємо URL за причинами виключення. Часто виявляється, що «пропали» не випадкові сторінки, а цілий патерн — наприклад, усі сторінки фільтрів або всі URL з параметрами. Це одразу вказує на системну причину, а не на окремі дефекти.

Найчастіша причина, чому сторінки не індексуються, — технічні блоки, які сайт ставить сам, часто випадково. Це мета-тег noindex, заборони в robots.txt, неправильний canonical або серверні помилки. Google слухняно виконує ці інструкції — і виключає сторінку.

Основні технічні блоки, які варто перевірити:

• Мета-тег noindex — прямо каже Google «не додавай у пошук». Частий слід від dev-версії сайту, яку забули розблокувати після запуску.
• robots.txt — закриває сторінку від сканування. Якщо робот не може зайти, він не може й коректно оцінити вміст.
• Canonical на інший URL — каже Google «справжня версія — ось там», і ваша сторінка в індекс не йде.
• Серверні помилки (5xx) і 404 — сторінка недоступна в момент сканування.

Як знайти noindex і помилкові canonical

Перевірте код сторінки: у секції <head> не повинно бути <meta name="robots" content="noindex">, якщо ви хочете бачити її в пошуку. Canonical має вказувати сам на себе для унікальних сторінок. В інструменті «Перевірка URL» Google прямо пише, яку канонічну версію він обрав — це найшвидший спосіб зловити конфлікт.

В одному аудиті інтернет-магазину ми знайшли noindex на всіх картках товарів — його додав плагін під час тесту й ніхто не помітив. Сайт три місяці був фактично невидимий у товарних запитах. Виправлення зайняло годину, повернення в індекс — близько двох тижнів.

robots.txt керує скануванням, а карта сайту (sitemap.xml) підказує Google, які сторінки ви вважаєте важливими. Помилка в robots.txt може закрити від сканування цілі розділи, а відсутня чи застаріла карта сайту сповільнює виявлення нових сторінок.

Типова помилка в robots.txt — надто широке правило Disallow: /, яке закриває весь сайт. Таке буває, коли файл копіюють з dev-середовища. Також небезпечно закривати CSS і JS: Google не зможе коректно відрендерити сторінку й оцінити її.

Що робить правильна карта сайту:

• містить лише канонічні сторінки, які ви хочете бачити в індексі;
• не містить сторінок з noindex, 404 чи редиректами;
• регулярно оновлюється при додаванні нового контенту;
• подана в Search Console у розділі «Карти сайту».

Для великих сайтів і нових розділів sitemap суттєво прискорює виявлення сторінок. Але вона не гарантує індексацію — це запрошення, а не наказ. Якщо сторінка в карті, але Google вирішив її не індексувати, причина глибша: контент або авторитет.

У проєкті з кількома тисячами сторінок ми бачили, як правильно структурована карта сайту з розбивкою на кілька файлів прискорила індексацію нового каталогу з кількох тижнів до кількох днів. Google отримав чіткий сигнал пріоритетів.

Якщо сторінка в статусі «Виявлено, не індексовано» або «Проскановано, не індексовано» — технічно все в порядку, але Google вирішив, що сторінка не варта індексу. Причина майже завжди в якості: тонкий контент, дублі або низька цінність сторінки для користувача.

Що Google вважає слабким контентом:

• сторінки з парою речень тексту й без унікальної користі;
• майже ідентичні сторінки (товари, що відрізняються лише кольором);
• автоматично згенеровані сторінки фільтрів і параметрів;
• сторінки без жодного внутрішнього посилання — «сироти».

Статус «Проскановано, не індексовано» — найчастіший сигнал, що контент є, але Google не бачить причини тримати його в базі. Це не технічна поломка, це оцінка цінності.

Що робити зі слабкими сторінками

Тут працює не масове переписування, а пріоритизація. Частину сторінок варто об’єднати, частину — підсилити унікальним контентом, частину — свідомо закрити від індексу, якщо вони не несуть користі в пошуку. Внутрішні посилання на важливі сторінки теж критичні: сторінка без вхідних лінків виглядає для Google як неважлива.

У нашому аудиті сервісного сайту ми об’єднали 40 тонких сторінок у 12 ґрунтовних — і всі 12 проіндексувалися протягом тижня, тоді як попередні 40 місяцями висіли «проскановано, не індексовано». Менше сторінок, більше цінності на кожну.

Для великих сайтів з’являється поняття бюджету сканування — обмеженого ресурсу, який Google витрачає на обхід вашого сайту. Якщо робот витрачає його на сміттєві URL (фільтри, параметри, дублі), на важливі сторінки ресурсу не вистачає, і вони індексуються повільно або не індексуються зовсім.

Для невеликого сайту до кількох сотень сторінок бюджет сканування майже не проблема. Але для інтернет-магазину чи каталогу з десятками тисяч URL це стає вирішальним фактором.

Що з’їдає бюджет сканування:

• нескінченні комбінації фільтрів і сортувань з унікальними URL;
• параметри відстеження й сесій у посиланнях;
• дубльовані сторінки з canonical, які Google все одно сканує;
• ланцюжки редиректів і повільні серверні відповіді.

Рішення — навести лад у структурі URL: закрити непотрібні параметри, прибрати дублі, прискорити сервер і зробити логічну перелінковку, яка веде робота до важливих сторінок найкоротшим шляхом.

В аудиті великого каталогу ми виявили, що понад 70% запитів Googlebot йшли на URL з параметрами фільтрів, які взагалі не мали бути в індексі. Після наведення ладу сканування важливих категорій прискорилося в рази — це видно прямо в логах сервера й у звіті статистики сканування Search Console.

Почніть з діагностики, а не з хаотичних дій: спершу знайдіть точну причину в Search Console, потім усувайте по пріоритету — від технічних блоків до якості контенту. Так ви не витратите тижні на переписування текстів, коли проблема була в одному рядку robots.txt.

Наш робочий порядок:

1. Зберіть дані — вивантажте звіт «Індексування сторінок» у GSC і згрупуйте URL за причинами виключення.
2. Зловіть технічні блоки — перевірте noindex, robots.txt, canonical, серверні помилки. Це найшвидші виправлення з найбільшим ефектом.
3. Перевірте карту сайту — чи подана, чи актуальна, чи містить лише потрібні сторінки.
4. Оцініть якість — розберіть статуси «виявлено/проскановано, не індексовано», вирішіть, що підсилити, що об’єднати, що закрити.
5. Налаштуйте перелінковку — дайте важливим сторінкам внутрішні посилання, приберіть «сироти».
6. Запросіть індексацію — для пріоритетних сторінок через «Перевірку URL», решту Google підхопить сам.

Наступний крок: якщо ви не впевнені, де саме причина, почніть зі звіту «Індексування сторінок» у Search Console — він майже завжди показує патерн, а не випадковість.

Більшість проблем з індексацією розв’язуються за кілька днів після усунення причини, якщо точно знати джерело. Складні випадки з великими сайтами займають довше, бо потрібно дочекатися повного повторного сканування. Головне — не лікувати симптом (додавати тексти), не розібравшись у діагнозі (технічний блок чи якість). Саме з цього ми починаємо будь-який технічний SEO-аудит: без індексації решта роботи не має сенсу.