Главная · Обзоры · Проверить наличие ошибок в файле sitemap xml. XML Sitemap: полное руководство по использованию. В каких случаях нужен файл Sitemap

Проверить наличие ошибок в файле sitemap xml. XML Sitemap: полное руководство по использованию. В каких случаях нужен файл Sitemap

Как понятно из названия, Sitemap (карта сайта) отображает ваш веб-сайт. Это веб-страница, в которой описывается структура вашего сайта, включая разделы и ссылки. Это значительно упрощает навигацию по вашему сайту. И очень важно иметь обновленный Sitemap для поисковых запросов и результатов пользовательского опыта.

Почему вашему сайту необходим файл Sitemap?

Проще говоря - вашему веб-сайту нужен Sitemap, чтобы его можно было найти на странице результатов поиска. XML Sitemap помогает поисковым системам, таким как Google и Bing, при сканировании легко понять структуру вашего сайта. И в случае, если ваш сайт имеет сложную структуру, или он недавно был создан или имеет динамические страницы, Sitemap значительно улучшит его рейтинг. Кроме того, у вас будет список всех URL-адресов вашего сайта, и вы получите приоритет сканирования поисковыми системами. Хотя вам и не обязательно иметь XML Sitemap, это важная часть любого SEO-продвижения.

Как ошибки файла Sitemap влияют на ваш рейтинг?

Ошибки файла sitemap включают ошибку сжатия, пустой файл sitemap, ошибку HTTP или некорректное пространство имен. Эти ошибки могут «загрязнить» файл sitemap, что затруднит сканирование вашего сайта. Если некоторые страницы не могут сканироваться должным образом, они не могут быть проиндексированы. Если ваши страницы не проиндексированы, вы не сможете получить высокий рейтинг Google и потеряете много органического трафика.

Sitemap.xml представляет собой документ, который содержит данные, используемые поисковыми системами для индексации сайтов. В этом файле содержится информация о тех страницах сайта, которые необходимо индексировать.

Данный документ позволяет поисковым системам определять местонахождение сайта, регулярность и время обновления его страниц, а также получить полный список документов сайта, которые необходимо индексировать. Наличие карты сайта (Sitemap.xml) не является 100-процентной гарантией того, что сайт будет полностью проиндексирован поисковыми системами, он служит всего лишь одним из средств, указать список страниц для сканирования страниц сайта. Правильное использование карты сайта помогает оптимизаторам в .

Структура Sitemap.xml

Файл размечается XML-тегами, основные из которых указывают на:

  • Важность страницы в диапазоне от 0,1 до 1,0 (где 0,1 – самый низкий, а 1,0 – самый высокий приоритет).
  • Частоту обновления (раз в час, раз в день, раз в неделю, раз в месяц, раз в год, никогда или всегда).
  • Описание страницы и ее начало (это обязательный элемент карты сайта).
  • Адрес страницы сайта (это тоже обязательный элемент карты сайта).
  • Дату последнего изменения страницы (это опциональный элемент).

Размещение Sitemap.xml

Существуют правила расположения файла Sitemap.xml, соблюдение которых позволит достичь наилучших результатов в продвижении ресурса.

  • Документ Sitemap.xml рекомендуется размещать в корневой директории сайта.
  • Все имеющиеся на сайте ссылки нужно размещать на одном домене с файлом Sitemap.xml.
  • Ссылки, имеющиеся в документе Sitemap.xml, должны использовать тот же протокол, что и ссылки, размещенные на сайте (http или https, с www. или без www.).
  • В необходимо указать путь к карте сайта.

Файлы Sitemap

Разрешается размещать не только основной документ Sitemap.xml, но и дополнительные файлы, подобные основному. Каждый их этих файлов может содержать не больше 50 тыс. ссылок, а общий размер документов не должен быть более 10 МБ. В случае необходимости Sitemap.xml можно сжимать стандартным архиватором. Дополнительные файлы используются в том случае, если превышен объем основного файла. Каждый дополнительный файл перечисляется в индексе, а его формат идентичен исходному.

Польза Sitemap.xml

Документ Sitemap.xml используется в поисковом продвижении и особенно важен в том случае, если:

  • Сайт относительно молодой и ссылок, которые ведут на него с других ресурсов, для эффективного продвижения слишком мало.
  • На сайте содержится большое количество страниц, которые не связаны друг с другом навигационными ссылками.
  • На сайте размещаются мультимедиа данные, не индексируемые ботом.
  • Содержание страниц сайта постоянно обновляется.

Sitemap для Google.News

Проверка карты сайта (Sitemap) на валидность

Самый простой способ проверить файл сайтмапа на валидность – добавить в вебмастеры поисковых систем и, если есть проблемы и ошибки, то вы их увидите в панели.

Вы просто кретин, если в свое время не уделили сайтмапу нужное внимание. Достаточно один раз разобраться в вопросе и в будущем избежать большого количества ошибок, что давайте сейчас и сделаем.

Ваш покорный слуга в годы младые также был таким кретином, когда только начал продвигать сайты в одной конторе. Попался мне в то время один сайтец на продвижение, который, следует сказать, был просто гавном. И у этого гавна были проблемы с индексацией. Естественно, будь сайт достаточно качественным, его бы оба поисковика индексировали несмотря ни на какие проблемы, но владельцы жались на нормальных дизайнера, верстальщика и программиста, а в этом случае сеошнику остается только, так сказать, открывать бутылку при помощи ножниц. Я перепробовал на нем все — и настройку last-modified, и ускорение индексации модным в то время фастботом, и покупку ссылок. И только потом оказалось, что дело было в том, что там не обновлялся автоматически сайтмап! Когда я его обновил — все страницы влетели в индекс.

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

[yt=INGCBkR26eo] [yt=INGCBkR26eo]

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

[yt=ti3NKPknHDA] [yt=ti3NKPknHDA]

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла должен быть не больше 10 мб;
  2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
  3. Адрес сайтмапа следует прописать в robots.txt;
  4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
  6. У sitemap должна быть кодировка UTF-8.

Приведу простой пример карты:

http://site.ru/ 2016-11-20T19:45:08+03:00 always 0,9 http://site.ru/category/ 2016-11-20T19:46:38+03:00 monthly 0,6 http://site.ru/page/ 2016-11-20T19:48:41+03:00 yearly 0.4

< url >

< loc > http : //site.ru/

< lastmod > 2016 - 11 - 20T19 : 45 : 08 + 03 : 00 < / lastmod >

< changefreq > always < / changefreq >

< priority > 0 , 9 < / priority >

< / url >

< url >

< loc > http : //site.ru/category/

< lastmod > 2016 - 11 - 20T19 : 46 : 38 + 03 : 00 < / lastmod >

< changefreq > monthly < / changefreq >

< priority > 0 , 6 < / priority >

< / url >

< url >

< loc > http : //site.ru/page/

< lastmod > 2016 - 11 - 20T19 : 48 : 41 + 03 : 00 < / lastmod >

< changefreq > yearly < / changefreq >

< priority > 0.4 < / priority >

< / url >

Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.

Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.

Lastmod в sitemap отвечает за дату последнего обновления.

Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:

  1. Hourly – обновление ежечасно;
  2. Always – всегда обновляется;
  3. Weekly – обновляется раз в неделю;
  4. Daily – обновления происходят ежедневно;
  5. Monthly – обновления происходят раз в месяц;
  6. Yearly – один раз в год;
  7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).

Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:

http://site.ru/sitemaps/sitemap01.xml 2016-11-20T21:37:28+03:00 http://site.ru/sitemaps/sitemap02.xml 2016-11-20T21:37:29+03:00

< sitemap >

< loc > http : //site.ru/sitemaps/sitemap01.xml

< lastmod > 2016 - 11 - 20T21 : 37 : 28 + 03 : 00 < / lastmod >

< / sitemap >

< sitemap >

< loc > http : //site.ru/sitemaps/sitemap02.xml

< lastmod > 2016 - 11 - 20T21 : 37 : 29 + 03 : 00 < / lastmod >

< / sitemap >

Как создать карту сайта

Способов создания xml-карты несколько, рассмотрим их:

  1. Скачать карту при помощи онлайн генератора с другого ресурса;
  2. Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
  3. Создать сайтмап вручную;
  4. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

Вот вариант, как сделать сайтмап без помощи плагинов:

[yt=Tnfy601BUZc] [yt=Tnfy601BUZc]

Плагины для создания sitemap на WordPress

Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.

С помощью отчета о файлах Sitemap вы можете отправить в Google карту своего сайта, посмотреть историю ее отправки, а также сведения об ошибках, с которыми столкнулась наша система при анализе файла Sitemap.

Что такое файл Sitemap? Нужен ли мне этот тип отчета?

Файл Sitemap размещается на вашем сайте и содержит информацию обо всех его новых и измененных веб-страницах. Если ваш ресурс небольшой (менее 100 страниц), возможно, вам будет проще запросить индексацию главной страницы , при условии, что на ней (или на одной из тех, на которую она ссылается непосредственно либо через другие страницы) есть ссылки на все остальные страницы.

Управление файлами Sitemap

Как отправить файл Sitemap

Выполните следующие действия:

  1. Разместите файл Sitemap на своем сайте. Требования:
    • Файл Sitemap должен быть в .
    • Файл Sitemap должен быть доступен роботу Googlebot.
  2. У вас должно быть разрешение владельца . Если его нет, вы можете вместо отправки файла добавить ссылку на него в файл robots.txt .
  3. Укажите относительный URL файла на странице с отчетом о файлах Sitemap и нажмите Отправить .
  4. Сразу же начнется обработка файла Sitemap. Учтите, что для сканирования перечисленных в нем URL может потребоваться некоторое время. Иногда отсканировать удается не все URL (это зависит от размера сайта, трафика и других факторов).

Внимание!

Если вы уже отправляли нам файл Sitemap, не нужно отправлять его повторно, даже если вы внесли в него изменения (мы заметим их при следующем сканировании сайта).

Как удалить файл Sitemap

Если вы удалите файл Sitemap, он будет удален из соответствующего отчета, но останется в Google, как и все URL, которые были в нем указаны. Если вам нужно, чтобы роботы Google перестали посещать ваши веб-страницы, добавьте правило в файл robots.txt .

Чтобы удалить файл Sitemap, выполните следующие действия:

Как интерпретировать отчет

  • В отчете показываются только файлы Sitemap, отправленные с его помощью, а не обнаруженные по ссылкам в файле robots.txt или другими способами. Тем не менее, если мы уже получили ваш файл Sitemap из другого источника, вы все равно можете отправить его нам через этот отчет, чтобы мы могли убедиться в правильности данных и определить коэффициент ошибки.
  • В отчете показаны только файлы Sitemap, относящиеся к текущему ресурсу.
  • В файле Sitemap можно указывать URL изображений , видео и новостных статей . Но в настоящее время в отчете не отображаются сведения об этих типах адресов.

Для каждого файла Sitemap указывается следующая информация:

URL файла Sitemap Адрес, по которому размещен файл, относительно корневого каталога ресурса. Тип Тип файла Sitemap. Возможные значения:
  • Sitemap – обычный XML-файл или текстовый файл Sitemap .
  • Файл индекса Sitemap – файл Sitemap с информацией о других файлах Sitemap .
  • RSS – файл Sitemap в формате RSS-фида .
  • Atom – файл Sitemap в формате фида Atom .
  • Неизвестно – файл имеет неизвестный формат или ещё не обработан.
Отправлен Дата, когда файл Sitemap был последний раз отправлен в Google. Дата последней обработки Дата, когда файл Sitemap был последний раз обработан инструментами Google. Статус Статус отправки или сканирования. Возможные значения: Количество выявленных URL Количество URL, перечисленных в файле Sitemap. Если это файл типа "индекс Sitemap", то здесь указывается общее количество URL во всех включенных в него файлах. Повторяющиеся URL засчитываются только один раз. При нажатии на этот значок открываются сведения о покрытии всех URL в отчете. В случае с индексом Sitemap указываются все URL, перечисленные в его дочерних файлах Sitemap.

Моего файла Sitemap нет в списке

Вот несколько причин, по которым файл Sitemap может отсутствовать в отчете:

  • Он относится к другому ресурсу. Файлы Sitemap, связанные с одним ресурсом, недоступны для других. Например, файлы в домене http://example.com не будут представлены в отчете по доменам http://m.example.com или https://example.com . Чтобы решить эту проблему, убедитесь, что вы добавили все версии URL своего ресурса.
  • Вы не посылали в Google файл Sitemap с помощью отчета. Если вы отправляли файлы Sitemap другим способом, они не будут показаны в списке, даже если Google может найти и использовать их.

Ошибки в файлах Sitemap

В отчете по файлам Sitemap может появляться информация об ошибках, перечисленных ниже.

Переход по URL не выполнен

Google не удалось просканировать все URL, указанные в файле Sitemap. Возможные причины:

  • По URL выполняется слишком много переадресаций. Рекомендуем заменить такие URL на адреса, которые могут быть просканированы непосредственно.
    • Если вы постоянно перенаправляете с одной страницы на другую, используйте окончательную переадресацию.
    • Рекомендуем отказаться от переадресации с помощью JavaScript или метатега refresh.
  • Роботам Google не удается просканировать относительные URL в вашем файле Sitemap. По возможности используйте абсолютные ссылки вместо относительных. Например, ссылаясь на другую страницу своего сайта, используйте URL https://www.example.com/moya-stranitsa.html , а не просто moya-stranitsa.html .

Недействительные URL

Некоторые URL-адреса находятся на более высоком уровне по отношению к файлу Sitemap или в другом домене.

Более высокий уровень. Если файл находится на странице http://www.example.com/mysite/sitemap.xml , то для него недействительны следующие URL:

  • http://www.example.com/ – находится на более высоком уровне, чем файл Sitemap;
  • http://www.example.com/yoursite/ – находится в дочернем каталоге файла Sitemap (необходимо перейти на более высокий уровень, а затем на более низкий).

Другой домен. Убедитесь, что все адреса начинаются с домена, в котором хранится ваш файл Sitemap. Например, если файл находится на странице http://www.example.com/sitemap.xml , то для него недействительны следующие URL:

  • http://example.com/ – отсутствует www в начале.
  • www.example.com/ – нет префикса протокола (http).
  • https://www.example.com/ – указан протокол https вместо http.

Ошибка сжатия

Ошибка при попытке распаковать заархивированный файл Sitemap. Выполните сжатие ещё раз (например, с помощью gzip), а затем загрузите его на сайт и повторно отправьте в Google.

Пустой файл Sitemap

В файле Sitemap отсутствуют URL. Убедитесь, что он не пустой.

Превышен максимально допустимый размер файла Sitemap

Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе , а затем отправьте нам каждый из них отдельно.

Неверное значение атрибута

Атрибут, связанный с одним из тегов XML в файле Sitemap, имеет недопустимое значение. Проверьте файлы Sitemap и убедитесь, что все атрибуты используются согласно техническим требованиям к таким файлам. Проверьте, нет ли опечаток в значениях атрибутов.

Недопустимая дата

Одна или несколько дат в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C . Время можно не указывать. Убедитесь, что все даты записаны в одном из допустимых форматов кодировки согласно W3C .

2005-02-21 2005-02-21T18:00:15+00:00

Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако если вы все же делаете это, не забудьте указать часовой пояс.

Недопустимое значение тега

В файле Sitemap содержится один или несколько тегов с недопустимым значением. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. п.).

Недопустимый URL

В файле Sitemap указан недействительный URL. Возможно, он содержит недопустимые символы (пробелы, кавычки и т. д.) или другие ошибки форматирования, например имеет префикс htp:// вместо http:// .

Отсутствует URL значка видео

В одной или нескольких записях о роликах отсутствует ссылка на значок видео. Убедитесь, что в тегах указаны URL всех таких значков.

Отсутствует название видео

В некоторых записях о роликах отсутствует название. Убедитесь, что в тегах указаны названия всех видео.

Неверный формат индекса Sitemap: вложенные файлы индекса Sitemap

В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap. Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на индексы.

Удалите записи, указывающие на индексы Sitemap, и повторно отправьте файл.

Ошибка синтаксического анализа

Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.

Часто это происходит из-за неэкранированных символов в одном из URL. Как и в файлах XML, любые значения данных (включая адреса URL) должны использовать экранирующие коды для некоторых символов, таких как & " " < >. Проверьте, правильно ли настроено экранирование URL .

Временная ошибка

Файл Sitemap не удалось обработать из-за временной ошибки системы. Как правило, при этой ошибке отправлять файл заново нет необходимости. Робот Google попробует получить его позже. Если это сообщение об ошибке будет отображаться и по прошествии нескольких часов, отправьте Sitemap ещё раз.

Слишком много файлов Sitemap в файле индекса

В файле индекса более 50 000 файлов Sitemap. Разделите его на несколько и убедитесь, что в каждом указано не более 50 000 файлов Sitemap.

Слишком много URL в файле Sitemap

В файле Sitemap более 50 000 URL. Разделите его на несколько, каждый из которых содержит до 50 000 адресов. Для удобства можно создать файл индекса Sitemap .

Неподдерживаемый формат файла

Вы создали некорректный файл.

Чтобы избежать самых частых ошибок XML, проверьте следующее:

  • В файлах Sitemap должны быть правильные заголовки. Например, если содержание файла представляет информацию о видео, заголовок должен быть следующим:
  • Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9 ).
  • Все атрибуты XML нужно заключать в одинарные (") или двойные (") кавычки, которые должны быть только прямыми. Внимание! Текстовые редакторы, например Microsoft Word, могут автоматически менять их на фигурные.

Несоответствующий путь: отсутствует префикс www

Путь к файлу Sitemap не содержит префикс www (например, http://example.com/sitemap.xml), однако этот префикс есть во всех перечисленных в файле URL (например, http://www.example.com/myfile.html).

Измените файл Sitemap, удалив префикс www из всех URL.

Несоответствующий путь: имеется префикс www

Путь к файлу Sitemap содержит префикс www (например, http://www.example.com/sitemap.xml), однако этого префикса нет во всех перечисленных в файле URL (например, http://example.com/myfile.xml).

Измените файл Sitemap, добавив префикс www во все URL.

Неправильно указано пространство имен

В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.

Убедитесь, что пространство имен задано правильно с учетом типа файла. Пример:

  • Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  • Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
  • Файл индекса Sitemap:

Файл Sitemap начинается с пробела

Ваш файл Sitemap начинается с пробела, а не с пространства имен. Файлы XML должны начинаться с декларации XML , в которой указана используемая версия XML.

Эта ошибка не помешает Google обработать ваш файл Sitemap, однако лучше удалить пробел, чтобы файл соответствовал стандартам XML и сообщение об этой ошибке больше не появлялось.

Ошибка HTTP (конкретный код )

При попытке скачать файл Sitemap произошла ошибка HTTP . В сообщении о ней будет указан код статуса (например, 404). Убедитесь, что URL файла Sitemap записан верно и файл находится в указанном месте. Затем повторно отправьте его в Google.

Значок видео слишком велик

Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте его в Google.

Значок видео слишком мал

Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap.

Местоположения видео и страницы воспроизведения совпадают

Указанные в файле Sitemap URL видео и страницы воспроизведения не должны совпадать. Если используются оба тега ( и ), URL должны различаться.

URL местоположения видео указывает на страницу воспроизведения

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Роботу Google не удалось обработать файл Sitemap, поскольку доступ к нему или его содержанию запрещен в файле robots.txt . С помощью инструмента проверки URL выясните, какой именно файл вызывает проблему, и внесите в robots.txt необходимые изменения.

Эта информация оказалась полезной?

Как можно улучшить эту статью?

В этом путеводителе мы рассмотрим следующие вопросы:

Что такое Sitemap ?

Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

Для чего нужна карта сайта

Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).

HTML vs XML-карта сайта

Карты сайта бывают следующих типов:

  • HTML;

Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

При составлении HTML-карты сайта важно учитывать:

1. Структурированное содержание.

Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

2. Анкоры ссылок.

Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

Обычно Sitemap состоит из следующих XML-тегов:

Обязательные:
– определяет стандарт протокола и инкапсулирует этот файл.
– содержит в себе информацию о URL-адресе (является родительским тегом).
– содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.
– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

Где разместить карту сайта

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

Подписаться на рассылку