Интернет-маркетинг

Googlebot не может получить доступ к файлам CSS и JS

30 июля, 2015

Напомним, что 28.07.2015 года пожалуй каждый владелец сайта или вебмастер на свою почту получил уведомление: «Googlebot не может получить доступ к файлам CSS и JS на сайте «. Наш сайт не исключение:
Screenshot_4

При этом каждый, наверняка, сразу же начал искать информацию в сети Интернет о том как это исправить безболезненно для сайта. Информации множество но понять какая действительно не нанесет ущерб сайту довольно тяжело. Дело в том, что Google для WordPress, например, просто рекомендует открыть следующие папки для индексации:

/wp-content/themes/
/wp-includes/js/
/wp-content/plugins/

Но открывать данные папки для индексации не желательно, поскольку злоумышленники смогут тогда заразить ваш сайт вирусами (рассказывать как именно это происходит думаю не стоит). Что же необходимо сделать?

Расскажу как исправить данную проблему для сайтов работающих под управлением CMS WordPress на примере нашего сайта. Ведь согласитесь, что вебстудия не будет для себя же делать плохие правки.

Как открыть доступ Гугл боту к файла CSS и JS

Для WorPress dсе очень просто: достаточно добавить следующие поля в файл robots.txt:

Allow: /wp-content/themes/*.js
Allow: /wp-content/themes/*.css
Allow: /wp-includes/js/*.js
Allow: /wp-includes/js/*.css
Allow: /wp-content/plugins/*.js
Allow: /wp-content/plugins/*.css

Что касается изменения файла robots.txt для других CMS — там решение аналогичное. Достаточно определить на какие папки ругается Гугл и для них открыть файлы CSS и JS в роботсе.

Вот и все! Если не верите — посмотрите на наш роботс, мы поступили именно так. Смотреть robots.txt ->

Проверяем, что мы все сделали правильно

  1. Открываем Google Console и переходим на сайт, который хотим проверить.
  2. Переходим в раздел «Сканирование» -> «Просмотреть как Googlebot»
  3. Вводим URL адрес любой страницы сайта (или проверяем Главную) просто нажав на кнопку «Получить и отобразить» и ждем окончания процедуры.
  4. После окончания просто жмем на новую появившуюся строку в проверке.

Если вы еще не исправили файл Robots.txt то увидите  приблизительно такую картину:

1
При этом ниже вы увидите заблокированные таблицы стилей, скриптов и т.д. Именно данный ньюанс и необходимо исправить.

Если же вы уже исправили файл Robots.txt то увидите приблизительно следующую картину:

3

Достаточно просмотреть заблокированные ресурсы и если среди них нет скриптов и стилей (js и css) значит вы все сделали правильно.

Если у вас возникли вопросы, пожелания или же вы не смогли у себя исправить данную ошибку — пишите нам на почту или же оставляйте комментарии к статье.

Искренне Ваш,
Руководитель SEO отдела
Федоренко Алексей.

12345 4,82 / 5
Загрузка...