Связаться с нами
 отравить заявку в ТП
 написать на почту
 написать в Telegram
Войти
0

robots.txt: универсальный файл для интернет-магазина на Webasyst Shop Script. Инструкция по внедрению

Ниже представлен шаблонный robots.txt для интернет-магазинов на Webasyst Shop Script. Данный шаблон robots.txt подойдет для 99% интернет-магазинов. Обратите внимание на выделенные в шаблоне строчки красным цветом: их необходимо перед размещением подкоррективать.

Чикуров Анатолий
Чикуров Анатолий
Количество просмотров: 7002
Для тех кто хочет немного теории - есть отдельная статья на тему "Правильная настройка индексации интернет-магазина на Shop Script". Ссылка на статью.
Инструкция по внедрению robots.txt на основную витрину сайта
  1. Скопируйте себе весь код для основной витрины сайта.
  2. Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: */tag/" (3 раза).
  3. Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчки "Disallow: */reviews/" (3 раза).
  4. В строчке "Sitemap: https://site.ru/sitemap.xml" укажите домен своего сайта вместо "site.ru" (3 раза).
  5. Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##" (3 раза).
  6. Убедитесь, что вы внесли изменения 3 раза для каждого User-agent-а: для Yandex, для Google, и для всех остальных роботов (User-agent: *)
  7. Введите итоговый код в настройках («админка» --> «Сайт» --> «*выбрать основную витрину из списка*» --> «Настройки сайта» --> «поле "robots.txt"»
  8. Обязательно проверьте файл robots.txt на основной витрине после внесения изменений (доступен по адресу https://site.ru/robots.txt).

Шаблон robots.txt для основной витрины сайта

  1. #upd 10.08.2023
  2. #author: @anatoly_chikurov
  4. User-agent: Yandex
  5. ## googleonly usual storefronts ##
  6. Disallow: */city/
  7. ## googleonly opt storefronts ##
  8. ## system hidden pages ##
  9. Disallow: *admin/
  10. Disallow: *helpdesk/
  11. Disallow: *cml1c/
  12. Disallow: */vk/
  13. Disallow: */turbo/
  14. Disallow: */logs/
  15. Disallow: *multiform/
  16. Disallow: *webasyst/
  17. Disallow: */test/
  18. Disallow: */old/
  19. Disallow: *.html
  20. Disallow: *.php
  21. Disallow: *.pdf
  22. Disallow: */amp/
  23. ## info and service pages ##
  24. Disallow: *search
  25. Disallow: *mailer/
  26. Disallow: *login/
  27. Disallow: *signup/
  28. Disallow: *forgotpassword/
  29. Disallow: *order/
  30. Disallow: */cart/
  31. Disallow: *onestep/
  32. Disallow: *checkout
  33. Disallow: */my/
  34. ## service links ##
  35. Disallow: *tel:
  36. Disallow: *skype:
  37. Disallow: *mailto:
  38. Disallow: *tg:
  39. Disallow: *viber:
  40. ## garbage and dublicates ##
  41. Disallow: *undefined
  42. Disallow: *compare/
  43. Disallow: *?
  44. Allow: *.*?
  45. Allow: *config/?
  46. Allow: *?page=
  47. Disallow: *?page=*&
  48. Disallow: *&page=
  49. Disallow: *?page=1
  50. Allow: *?page=10
  51. Allow: *?page=11
  52. Allow: *?page=12
  53. Allow: *?page=13
  54. Allow: *?page=14
  55. Allow: *?page=15
  56. Allow: *?page=16
  57. Allow: *?page=17
  58. Allow: *?page=18
  59. Allow: *?page=19
  60. Disallow: *?page=10*&
  61. Disallow: *?page=11*&
  62. Disallow: *?page=12*&
  63. Disallow: *?page=13*&
  64. Disallow: *?page=14*&
  65. Disallow: *?page=15*&
  66. Disallow: *?page=16*&
  67. Disallow: *?page=17*&
  68. Disallow: *?page=18*&
  69. Disallow: *?page=19*&
  70. Disallow: *product*/?page=
  71. ## blog garbage ##
  72. Disallow: */author/
  73. Disallow: */2015/
  74. Disallow: */2016/
  75. Disallow: */2017/
  76. Disallow: */2018/
  77. Disallow: */2019/
  78. Disallow: */2020/
  79. Disallow: */2021/
  80. Disallow: */2022/
  81. Disallow: */2023/
  82. Disallow: */2024/
  83. Disallow: */2025/
  84. Disallow: */2026/
  85. Disallow: */2027/
  86. Disallow: */2028/
  87. Disallow: */2029/
  88. Disallow: */2030/
  89. Disallow: */2031/
  90. Disallow: */2032/
  91. Disallow: */2033/
  92. Disallow: */2034/
  93. Disallow: */2035/
  94. Allow: /product/20*/
  95. Disallow: /product/20*/?
  96. ## individual rules ##
  97. Disallow: */tag/
  98. Disallow: */reviews/
  99. ## end ##
  100. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  101. Sitemap: https://site.ru/sitemap.xml
  103. User-agent: Googlebot
  104. ## system hidden pages ##
  105. Disallow: *admin/
  106. Disallow: *helpdesk/
  107. Disallow: *cml1c/
  108. Disallow: */vk/
  109. Disallow: */turbo/
  110. Disallow: */logs/
  111. Disallow: *multiform/
  112. Disallow: *webasyst/
  113. Disallow: */test/
  114. Disallow: */old/
  115. Disallow: *.html
  116. Disallow: *.php
  117. Disallow: *.pdf
  118. ## info and service pages ##
  119. Disallow: *search
  120. Disallow: *mailer/
  121. Disallow: *login/
  122. Disallow: *signup/
  123. Disallow: *forgotpassword/
  124. Disallow: *order/
  125. Disallow: */cart/
  126. Disallow: *onestep/
  127. Disallow: *checkout
  128. Disallow: */my/
  129. ## service links ##
  130. Disallow: *tel:
  131. Disallow: *skype:
  132. Disallow: *mailto:
  133. Disallow: *tg:
  134. Disallow: *viber:
  135. ## garbage and dublicates ##
  136. Disallow: *undefined
  137. Disallow: *compare/
  138. Disallow: *?
  139. Allow: *.*?
  140. Allow: *config/?
  141. Allow: *?page=
  142. Disallow: *?page=*&
  143. Disallow: *&page=
  144. Disallow: *?page=1
  145. Allow: *?page=10
  146. Allow: *?page=11
  147. Allow: *?page=12
  148. Allow: *?page=13
  149. Allow: *?page=14
  150. Allow: *?page=15
  151. Allow: *?page=16
  152. Allow: *?page=17
  153. Allow: *?page=18
  154. Allow: *?page=19
  155. Disallow: *?page=10*&
  156. Disallow: *?page=11*&
  157. Disallow: *?page=12*&
  158. Disallow: *?page=13*&
  159. Disallow: *?page=14*&
  160. Disallow: *?page=15*&
  161. Disallow: *?page=16*&
  162. Disallow: *?page=17*&
  163. Disallow: *?page=18*&
  164. Disallow: *?page=19*&
  165. Disallow: *product*/?page=
  166. Allow: *utm_source=
  167. ## blog garbage ##
  168. Disallow: */author/
  169. Disallow: */2015/
  170. Disallow: */2016/
  171. Disallow: */2017/
  172. Disallow: */2018/
  173. Disallow: */2019/
  174. Disallow: */2020/
  175. Disallow: */2021/
  176. Disallow: */2022/
  177. Disallow: */2023/
  178. Disallow: */2024/
  179. Disallow: */2025/
  180. Disallow: */2026/
  181. Disallow: */2027/
  182. Disallow: */2028/
  183. Disallow: */2029/
  184. Disallow: */2030/
  185. Disallow: */2031/
  186. Disallow: */2032/
  187. Disallow: */2033/
  188. Disallow: */2034/
  189. Disallow: */2035/
  190. Allow: /product/20*/
  191. Disallow: /product/20*/?
  192. ## individual rules ##
  193. Disallow: */tag/
  194. Disallow: */reviews/
  195. ## end ##
  196. Sitemap: https://site.ru/sitemap.xml
  198. User-agent: *
  199. ## googleonly usual storefronts ##
  200. Disallow: */city/
  201. ## googleonly opt storefronts ##
  202. ## system hidden pages ##
  203. Disallow: *admin/
  204. Disallow: *helpdesk/
  205. Disallow: *cml1c/
  206. Disallow: */vk/
  207. Disallow: */turbo/
  208. Disallow: */logs/
  209. Disallow: *multiform/
  210. Disallow: *webasyst/
  211. Disallow: */test/
  212. Disallow: */old/
  213. Disallow: *.html
  214. Disallow: *.php
  215. Disallow: *.pdf
  216. Disallow: */amp/
  217. ## info and service pages ##
  218. Disallow: *search
  219. Disallow: *mailer/
  220. Disallow: *login/
  221. Disallow: *signup/
  222. Disallow: *forgotpassword/
  223. Disallow: *order/
  224. Disallow: */cart/
  225. Disallow: *onestep/
  226. Disallow: *checkout
  227. Disallow: */my/
  228. ## service links ##
  229. Disallow: *tel:
  230. Disallow: *skype:
  231. Disallow: *mailto:
  232. Disallow: *tg:
  233. Disallow: *viber:
  234. ## garbage and dublicates ##
  235. Disallow: *undefined
  236. Disallow: *compare/
  237. Disallow: *?
  238. Allow: *.*?
  239. Allow: *config/?
  240. Allow: *?page=
  241. Disallow: *?page=*&
  242. Disallow: *&page=
  243. Disallow: *?page=1
  244. Allow: *?page=10
  245. Allow: *?page=11
  246. Allow: *?page=12
  247. Allow: *?page=13
  248. Allow: *?page=14
  249. Allow: *?page=15
  250. Allow: *?page=16
  251. Allow: *?page=17
  252. Allow: *?page=18
  253. Allow: *?page=19
  254. Disallow: *?page=10*&
  255. Disallow: *?page=11*&
  256. Disallow: *?page=12*&
  257. Disallow: *?page=13*&
  258. Disallow: *?page=14*&
  259. Disallow: *?page=15*&
  260. Disallow: *?page=16*&
  261. Disallow: *?page=17*&
  262. Disallow: *?page=18*&
  263. Disallow: *?page=19*&
  264. Disallow: *product*/?page=
  265. ## blog garbage ##
  266. Disallow: */author/
  267. Disallow: */2015/
  268. Disallow: */2016/
  269. Disallow: */2017/
  270. Disallow: */2018/
  271. Disallow: */2019/
  272. Disallow: */2020/
  273. Disallow: */2021/
  274. Disallow: */2022/
  275. Disallow: */2023/
  276. Disallow: */2024/
  277. Disallow: */2025/
  278. Disallow: */2026/
  279. Disallow: */2027/
  280. Disallow: */2028/
  281. Disallow: */2029/
  282. Disallow: */2030/
  283. Disallow: */2031/
  284. Disallow: */2032/
  285. Disallow: */2033/
  286. Disallow: */2034/
  287. Disallow: */2035/
  288. Allow: /product/20*/
  289. Disallow: /product/20*/?
  290. ## individual rules ##
  291. Disallow: */tag/
  292. Disallow: */reviews/
  293. ## end ##
  294. Crawl-delay: 5
  295. Sitemap: https://site.ru/sitemap.xml
  297. User-agent: Mediapartners-Google
  298. Allow: /
  299. Crawl-delay: 3
Инструкция по внедрению robots.txt на региональные поддомены сайта
  1. Скопируйте себе весь код для региональных поддоменов.
  2. Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: /tag/" и "Disallow: */tag/".
  3. Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчку "Disallow: */reviews/".
  4. Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##".
  5. Введите итоговый код:
    • Если вы используете плагин "SEO-регионы", то перейдите на страницу "/webasyst/shop/?plugin=regions&action=robots", вставьте код туда, выберите все региональные витрины (т.е. все витрины кроме основной) и нажмите кнопку "Сохранить".
    • Если вы не используете плагин "SEO-регионы", то заходите в настройки сайта и поочередно выбирая все региональные витрины, вставляйте код и сохраняйте изменения, не забывая при этом заменять в строчке "Sitemap: https://{storefront_url}/sitemap.xml" фрагмент "{storefront_url}" на домен вашей региональной витрины (пример: "Sitemap: https://spb.test.ru/sitemap.xml").
  6. Обязательно проверьте файл robots.txt на региональных витринах после внесения изменений (доступны по адресу https://spb.site.ru/robots.txt, https://ufa.site.ru/robots.txt, https://omsk.site.ru/robots.txt, итд).

Шаблон robots.txt для региональных поддоменов

  1. #upd 10.08.2023
  2. #author: @anatoly_chikurov
  4. User-agent: *
  5. Disallow: /
  7. User-agent: Yandex
  8. ## googleonly pages ##
  9. ## content pages ##
  10. Disallow: */blog/
  11. Disallow: */stati/
  12. Disallow: */novosti
  13. Disallow: */seorating/
  14. Disallow: */rating/
  15. ## system hidden pages ##
  16. Disallow: *admin/
  17. Disallow: *helpdesk/
  18. Disallow: *cml1c/
  19. Disallow: */vk/
  20. Disallow: */turbo/
  21. Disallow: */logs/
  22. Disallow: *multiform/
  23. Disallow: *webasyst/
  24. Disallow: */test/
  25. Disallow: */old/
  26. Disallow: *.html
  27. Disallow: *.php
  28. Disallow: *.pdf
  29. Disallow: */amp/
  30. ## info and service pages ##
  31. Disallow: *search
  32. Disallow: *mailer/
  33. Disallow: *login/
  34. Disallow: *signup/
  35. Disallow: *forgotpassword/
  36. Disallow: *order/
  37. Disallow: */cart/
  38. Disallow: *onestep/
  39. Disallow: *checkout
  40. Disallow: */my/
  41. ## service links ##
  42. Disallow: *tel:
  43. Disallow: *skype:
  44. Disallow: *mailto:
  45. Disallow: *tg:
  46. Disallow: *viber:
  47. ## garbage and dublicates ##
  48. Disallow: *undefined
  49. Disallow: *compare/
  50. Disallow: *?
  51. Allow: *.*?
  52. Allow: *config/?
  53. Allow: *?page=
  54. Disallow: *?page=*&
  55. Disallow: *&page=
  56. Disallow: *?page=1
  57. Allow: *?page=10
  58. Allow: *?page=11
  59. Allow: *?page=12
  60. Allow: *?page=13
  61. Allow: *?page=14
  62. Allow: *?page=15
  63. Allow: *?page=16
  64. Allow: *?page=17
  65. Allow: *?page=18
  66. Allow: *?page=19
  67. Disallow: *?page=10*&
  68. Disallow: *?page=11*&
  69. Disallow: *?page=12*&
  70. Disallow: *?page=13*&
  71. Disallow: *?page=14*&
  72. Disallow: *?page=15*&
  73. Disallow: *?page=16*&
  74. Disallow: *?page=17*&
  75. Disallow: *?page=18*&
  76. Disallow: *?page=19*&
  77. Disallow: *product*/?page=
  78. ## blog garbage ##
  79. Disallow: */author/
  80. Disallow: */2015/
  81. Disallow: */2016/
  82. Disallow: */2017/
  83. Disallow: */2018/
  84. Disallow: */2019/
  85. Disallow: */2020/
  86. Disallow: */2021/
  87. Disallow: */2022/
  88. Disallow: */2023/
  89. Disallow: */2024/
  90. Disallow: */2025/
  91. Disallow: */2026/
  92. Disallow: */2027/
  93. Disallow: */2028/
  94. Disallow: */2029/
  95. Disallow: */2030/
  96. Disallow: */2031/
  97. Disallow: */2032/
  98. Disallow: */2033/
  99. Disallow: */2034/
  100. Disallow: */2035/
  101. Allow: /product/20*/
  102. Disallow: /product/20*/?
  103. ## individual rules ##
  104. Disallow: */tag/
  105. Disallow: */reviews/
  106. ## end ##
  107. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  108. Sitemap: https://{storefront_url}/sitemap.xml
Написать комментарий
15 комментариев
Чикуров Анатолий
Чикуров Анатолий26 декабря 2020 13:32
Обновление #upd 26.12.2020
— снят запрет с индексации .js, .css, и прочих файлов, если они подключены с get-параметрам, содержащими информацию о версии файлов
— снят запрет для индексации страниц товаров c рекламными UTM-метками для Googlebot
— снят запрет для индексации AMP-страниц для Googlebot
ответить
Чикуров Анатолий
Чикуров Анатолий18 января 2021 06:40
Обновление #upd 18.01.2020
— удаление лишних директив
ответить
Чикуров Анатолий
Чикуров Анатолий6 февраля 2021 12:17
Обновление 06.02.2020
— новая группа правил ## googleonly pages ## (для проектов, на которых реализовано продвижение папками в Google)
— новая группа правил ## content pages ## (для проектов, на которых имеется блог и/или используется плагин "SEO-топы и списки")
ответить
В
ВЕтал28 апреля 2021 23:39
Добрый!
Расскажите по подробней пожалуйста о директиве:

## googleonly pages ##
Disallow: */spb/
Disallow: */spb-opt/
Disallow: */ekb/
Disallow: */ekb-opt/
Disallow: */novosibirsk/

Вы пишите , что "Данный шаблон robots.txt подойдет для 99% интернет-магазинов". Я например на сайтах не использую подобных каталогов, я использую субдомены. Соответственно мне закрывать в роботсе нет смысла региональные каталоги, и исходя из этого мне можно удалить эту часть роботса? или я не правильно понял назначение директивы ## googleonly pages ## ?

И ещё в вашем шаблоне роботса региональные каталоги закрыты (Disallow) и для основного домена и для регионального, в чём фишка?
ответить
Чикуров Анатолий
Чикуров Анатолий29 апреля 2021 11:13
Фишка в том, что папки индексируются только у основного домена и только в гугле.

Если вы не используете папки для продвижения в Google, то закрыв их от индексации вы в общем-то ничего не потеряете. Будет лишь несколько лишних строк в robots.txt, которые ничего не делают. Хотите их удалить - удаляйте.
ответить
Д
Денис21 июня 2021 17:11
Добрый день.
Надо ли что то менять в файлах robots, предоставленных Вами, если у меня интернет магазин на поддоменах xxx.site.ru ?
В региональном файле Вы закрыли индексацию для всех поисковиков кроме Яндекса. На сколько понял это нужно для сайтов на папках. Нужно ли это делать в моем случае? Для Чего нужен User-agent: Mediapartners-Google на основной витрине?
ответить
Чикуров Анатолий
Чикуров Анатолий22 июня 2021 14:56
Денис, для начала, немного "моей" терминалогии:
- "витрина на поддомене" - это сайт вида msk.site.ru
- "витрина на папке" - это витрина сайта вида site.ru/msk/

Гугл очень неохотно индексирует/ранжирует поддомены. Но папки воспринимает нормально, если все грамотно настроено.

Яндекс, напротив, хорошо воспринимает поддомены. В идеале на сайте нужно реализовывать гибрид поддоменов и папок: поддомены кормить Яндексу, папки кормить Гуглу.

Скорее всего у вас все реализовано на поддоменах, а не на папках (я не встречал ни одного сайта на Webasyst, сделанного не мной, на котором грамотно настроены папки для гугла).

Файл robots.txt, представленный на данной странице, универсален - его можно в неизменном виде внедрять и на проекты на поддоменах, и на проекты на папках, и на проекты с гибридной системой. Если у вас не реализованы папки и вы не удалите правила, которые используются в файле-шаблоне robots.txt, то у вас просто будут лишние строки, которые абсолютно ни на что не влияют.

---

Что касается "User-agent: Mediapartners-Google" - долго объяснять. Если вкратце, это правило было добавлено для снятия запрета на индексацию страниц товаров с GET-параметрами для гугловского робота, который парсит сайт с целью сбора информации для рекламных сервисов (в частности, для сервиса "Google Покупки").

Однако на практике это не всегда работает, поскольку Google сам же перестал следовать своей документации и за информацией на сайт часто приходят обычные "нерекламные" роботы. Подозреваю, что это недоразумение связано с переходом на Mobile First индексацию и в будущем специалисты Google это исправят. Ну а пока что в robots.txt приходится добавлять строчку "Allow: *utm_source=", во избежание проблем работы магазина на сервисе "Google Покупки".

---

В любом случае, рекомендую вам следовать стандартному шаблону. Он проверен на огромном количестве сайтов и действительно является универсальным решением.
ответить
Чикуров Анатолий
Чикуров Анатолий8 августа 2021 09:17
Обновление #upd 08.08.2021
— добавлены новые правила для запрета сканирования некоторых страниц пагинаций
ответить
Л
Лаба Илья14 декабря 2021 16:37
Анатолий в вашем примере по пагинации вы ориентируетесь на 20 страниц. Вопрос если у меня больше 20 я их все перечисляю ???

Allow: *?page=142
Allow: *?page=143
Allow: *?page=144
и т.д

Disallow: *?page=142*&
Disallow: *?page=143*&
Disallow: *?page=144*&
и т.д

А если у меня в корневую категорию выводятся все подкатегории, то это могут быть и очень больше цифры.

Например в этой категории https://huha.com.ua/category/tovary-dlya-detey/ более 2000 страниц пагинации. Будет ли нормально работать robot.txt если прописать все 2000 страниц пагинации???

ответить
Чикуров Анатолий
Чикуров Анатолий15 декабря 2021 06:57
В этом нет необходимости. 10 правил вида Allow: *?page=10, Allow: *?page=11 добавлены, чтобы перебить директиву Disallow: *?page=1 закрывающую страницу-дубль категории. Если у вас в категории есть хоть 2000 страниц пагинаций, их сканирование не будет запрещено. Дополнительных правил для каждой отдельно взятой страницы пагинации прописывать не требуется.
ответить
Чикуров Анатолий
Чикуров Анатолий19 сентября 2022 09:06
Обновление #upd 19.09.2022
— полностью переработан подраздел ## googleonly usual storefronts ##
— добавлен подраздел ## googleonly opt storefronts ##

Если вы не понимаете что это за правила в robots.txt - значит они вам не нужны. Можете их оставить, можете удалить - разницы не будет.
ответить
Б
Богомолова Ольга Игоревна7 июня 2023 12:28
Ваша настройка robots ведет к тому, что Google не может сканировать даже главную страницу. https://disk.yandex.ru/i/2iW8K2yzqD8Jcw
ответить
Чикуров Анатолий
Чикуров Анатолий7 июня 2023 14:03
Ольга, всё корректно работает на сотнях проектах.

Не могу посмотреть robots.txt на вашем сайте baf-agro.ru, т.к. вы его на момент написания данного комментария изменили, но скорее всего вы сами допустили грубую ошибку: разместили robots.txt который предназначен для поддомена сайта на основной домен сайта.

В шаблоне robots.txt для поддоменов сайта есть правило запрещающая роботам Google сканировать страницы сайта. Будьте пожалуйста внимательнее.
ответить
Чикуров Анатолий
Чикуров Анатолий8 июля 2023 14:28
Обновление #upd 08.08.2023
— снят запрет для сканирования страниц /yml/
— снят запрет для сканирования страниц /xml/
ответить
Чикуров Анатолий
Чикуров Анатолий10 августа 2023 15:57
Обновление #upd 10.08.2023
— убран запрет на сканирование страниц содержащих в URL "yandexmarket/"
ответить