Универсальный файл robots.txt для интернет-магазина на Webasyst Shop Script. Инструкция по внедрению

16 ноября 2020 (216 просмотров)

Ниже представлен шаблонный robots.txt для интернет-магазинов на Webasyst Shop Script. Данный шаблон robots.txt подойдет для 99% интернет-магазинов. Обратите внимание на выделенные в шаблоне строчки красным цветом: их необходимо перед размещением подкоррективать.

Для тех кто хочет немного теории - есть отдельная статья на тему "Правильная настройка индексации интернет-магазина на Shop Script". Ссылка на статью.


Инструкция по внедрению robots.txt на основную витрину сайта

  1. Скопируйте себе весь код для основной витрины сайта.
  2. Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: */tag/" (3 раза).
  3. Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчки "Disallow: */reviews/" (3 раза).
  4. В строчке "Sitemap: https://site.ru/sitemap.xml" укажите домен своего сайта вместо "site.ru" (3 раза).
  5. Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##" (3 раза).
  6. Убедитесь, что вы внесли изменения 3 раза для каждого User-agent-а: для Yandex, для Google, и для всех остальных роботов (User-agent: *)
  7. Введите итоговый код в настройках («админка» --> «Сайт» --> «*выбрать основную витрину из списка*» --> «Настройки сайта» --> «поле "robots.txt"»
  8. Обязательно проверьте файл robots.txt на основной витрине после внесения изменений (доступен по адресу https://site.ru/robots.txt).

Инструкция по внедрению robots.txt на региональные поддомены сайта

  1. Скопируйте себе весь код для региональных поддоменов.
  2. Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: /tag/" и "Disallow: */tag/".
  3. Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчку "Disallow: */reviews/".
  4. Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##".
  5. Введите итоговый код:
    • Если вы используете плагин "SEO-регионы", то перейдите на страницу "/webasyst/shop/?plugin=regions&action=robots", вставьте код туда, выберите все региональные витрины (т.е. все витрины кроме основной) и нажмите кнопку "Сохранить".
    • Если вы не используете плагин "SEO-регионы", то заходите в настройки сайта и поочередно выбирая все региональные витрины, вставляйте код и сохраняйте изменения, не забывая при этом заменять в строчке "Sitemap: https://{storefront_url}/sitemap.xml" фрагмент "{storefront_url}" на домен вашей региональной витрины (пример: "Sitemap: https://spb.test.ru/sitemap.xml").
  6. Обязательно проверьте файл robots.txt на региональных витринах после внесения изменений (доступны по адресу https://spb.site.ru/robots.txt, https://ufa.site.ru/robots.txt, https://omsk.site.ru/robots.txt, итд).

Шаблон robots.txt для основного домена

  1. #upd 06.02.2021
  2. #author: @anatoly_chikurov
  3. User-agent: Yandex
  4. ## googleonly pages ##
  5. Disallow: */spb/
  6. Disallow: */spb-opt/
  7. Disallow: */ekb/
  8. Disallow: */ekb-opt/
  9. Disallow: */novosibirsk/
  10. Disallow: */novosibirsk-opt/
  11. Disallow: */nn/
  12. Disallow: */nn-opt/
  13. Disallow: */kazan/
  14. Disallow: */cheljabinsk/
  15. Disallow: */omsk/
  16. Disallow: */samara/
  17. Disallow: */rostov/
  18. ## system hidden pages ##
  19. Disallow: *admin/
  20. Disallow: *helpdesk/
  21. Disallow: *yandexmarket/
  22. Disallow: *cml1c/
  23. Disallow: */vk/
  24. Disallow: */xml/
  25. Disallow: */yml/
  26. Disallow: */turbo/
  27. Disallow: */logs/
  28. Disallow: *multiform/
  29. Disallow: *webasyst/
  30. Disallow: */test/
  31. Disallow: */old/
  32. Disallow: *.html
  33. Disallow: *.php
  34. Disallow: *.pdf
  35. Disallow: */amp/
  36. ## info and service pages ##
  37. Disallow: *search
  38. Disallow: *mailer/
  39. Disallow: *login/
  40. Disallow: *signup/
  41. Disallow: *forgotpassword/
  42. Disallow: *order/
  43. Disallow: */cart/
  44. Disallow: *onestep/
  45. Disallow: *checkout/
  46. Disallow: */my/
  47. ## service links ##
  48. Disallow: *tel:
  49. Disallow: *skype:
  50. Disallow: *mailto:
  51. Disallow: *tg:
  52. Disallow: *viber:
  53. ## garbage and dublicates ##
  54. Disallow: *undefined
  55. Disallow: *compare/
  56. Disallow: *?
  57. Allow: *.*?
  58. Allow: *config/?
  59. Allow: *?page=
  60. Disallow: *?page=*&
  61. Disallow: *product*/?page=
  62. ## blog garbage ##
  63. Disallow: */author/
  64. Disallow: */2015/
  65. Disallow: */2016/
  66. Disallow: */2017/
  67. Disallow: */2018/
  68. Disallow: */2019/
  69. Disallow: */2020/
  70. Disallow: */2021/
  71. Disallow: */2022/
  72. Disallow: */2023/
  73. Disallow: */2024/
  74. Disallow: */2025/
  75. Disallow: */2026/
  76. Disallow: */2027/
  77. Disallow: */2028/
  78. Disallow: */2029/
  79. Disallow: */2030/
  80. Disallow: */2031/
  81. Disallow: */2032/
  82. Disallow: */2033/
  83. Disallow: */2034/
  84. Disallow: */2035/
  85. Allow: /product/20*/
  86. Disallow: /product/20*/?
  87. ## individual rules ##
  88. Disallow: */tag/
  89. Disallow: */reviews/
  90. ## end ##
  91. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  92. Sitemap: https://site.ru/sitemap.xml
  93. User-agent: Googlebot
  94. ## system hidden pages ##
  95. Disallow: *admin/
  96. Disallow: *helpdesk/
  97. Disallow: *yandexmarket/
  98. Disallow: *cml1c/
  99. Disallow: */vk/
  100. Disallow: */xml/
  101. Disallow: */yml/
  102. Disallow: */turbo/
  103. Disallow: */logs/
  104. Disallow: *multiform/
  105. Disallow: *webasyst/
  106. Disallow: */test/
  107. Disallow: */old/
  108. Disallow: *.html
  109. Disallow: *.php
  110. Disallow: *.pdf
  111. ## info and service pages ##
  112. Disallow: *search
  113. Disallow: *mailer/
  114. Disallow: *login/
  115. Disallow: *signup/
  116. Disallow: *forgotpassword/
  117. Disallow: *order/
  118. Disallow: */cart/
  119. Disallow: *onestep/
  120. Disallow: *checkout/
  121. Disallow: */my/
  122. ## service links ##
  123. Disallow: *tel:
  124. Disallow: *skype:
  125. Disallow: *mailto:
  126. Disallow: *tg:
  127. Disallow: *viber:
  128. ## garbage and dublicates ##
  129. Disallow: *undefined
  130. Disallow: *compare/
  131. Disallow: *?
  132. Allow: *.*?
  133. Allow: *config/?
  134. Allow: *?page=
  135. Disallow: *?page=*&
  136. Disallow: *product*/?page=
  137. Allow: *utm_source=
  138. ## blog garbage ##
  139. Disallow: */author/
  140. Disallow: */2015/
  141. Disallow: */2016/
  142. Disallow: */2017/
  143. Disallow: */2018/
  144. Disallow: */2019/
  145. Disallow: */2020/
  146. Disallow: */2021/
  147. Disallow: */2022/
  148. Disallow: */2023/
  149. Disallow: */2024/
  150. Disallow: */2025/
  151. Disallow: */2026/
  152. Disallow: */2027/
  153. Disallow: */2028/
  154. Disallow: */2029/
  155. Disallow: */2030/
  156. Disallow: */2031/
  157. Disallow: */2032/
  158. Disallow: */2033/
  159. Disallow: */2034/
  160. Disallow: */2035/
  161. Allow: /product/20*/
  162. Disallow: /product/20*/?
  163. ## individual rules ##
  164. Disallow: */tag/
  165. Disallow: */reviews/
  166. ## end ##
  167. Sitemap: https://site.ru/sitemap.xml
  168. User-agent: *
  169. ## googleonly pages ##
  170. Disallow: */spb/
  171. Disallow: */spb-opt/
  172. Disallow: */ekb/
  173. Disallow: */ekb-opt/
  174. Disallow: */novosibirsk/
  175. Disallow: */novosibirsk-opt/
  176. Disallow: */nn/
  177. Disallow: */nn-opt/
  178. Disallow: */kazan/
  179. Disallow: */cheljabinsk/
  180. Disallow: */omsk/
  181. Disallow: */samara/
  182. Disallow: */rostov/
  183. ## system hidden pages ##
  184. Disallow: *admin/
  185. Disallow: *helpdesk/
  186. Disallow: *yandexmarket/
  187. Disallow: *cml1c/
  188. Disallow: */vk/
  189. Disallow: */xml/
  190. Disallow: */yml/
  191. Disallow: */turbo/
  192. Disallow: */logs/
  193. Disallow: *multiform/
  194. Disallow: *webasyst/
  195. Disallow: */test/
  196. Disallow: */old/
  197. Disallow: *.html
  198. Disallow: *.php
  199. Disallow: *.pdf
  200. Disallow: */amp/
  201. ## info and service pages ##
  202. Disallow: *search
  203. Disallow: *mailer/
  204. Disallow: *login/
  205. Disallow: *signup/
  206. Disallow: *forgotpassword/
  207. Disallow: *order/
  208. Disallow: */cart/
  209. Disallow: *onestep/
  210. Disallow: *checkout/
  211. Disallow: */my/
  212. ## service links ##
  213. Disallow: *tel:
  214. Disallow: *skype:
  215. Disallow: *mailto:
  216. Disallow: *tg:
  217. Disallow: *viber:
  218. ## garbage and dublicates ##
  219. Disallow: *undefined
  220. Disallow: *compare/
  221. Disallow: *?
  222. Allow: *.*?
  223. Allow: *config/?
  224. Allow: *?page=
  225. Disallow: *?page=*&
  226. Disallow: *product*/?page=
  227. ## blog garbage ##
  228. Disallow: */author/
  229. Disallow: */2015/
  230. Disallow: */2016/
  231. Disallow: */2017/
  232. Disallow: */2018/
  233. Disallow: */2019/
  234. Disallow: */2020/
  235. Disallow: */2021/
  236. Disallow: */2022/
  237. Disallow: */2023/
  238. Disallow: */2024/
  239. Disallow: */2025/
  240. Disallow: */2026/
  241. Disallow: */2027/
  242. Disallow: */2028/
  243. Disallow: */2029/
  244. Disallow: */2030/
  245. Disallow: */2031/
  246. Disallow: */2032/
  247. Disallow: */2033/
  248. Disallow: */2034/
  249. Disallow: */2035/
  250. Allow: /product/20*/
  251. Disallow: /product/20*/?
  252. ## individual rules ##
  253. Disallow: */tag/
  254. Disallow: */reviews/
  255. ## end ##
  256. Crawl-delay: 5
  257. Sitemap: https://site.ru/sitemap.xml
  258. User-agent: Mediapartners-Google
  259. Allow: /
  260. Crawl-delay: 3

Шаблон robots.txt для региональных поддоменов

  1. #upd 06.02.2021
  2. #author: @anatoly_chikurov
  3. User-agent: *
  4. Disallow: /
  5. User-agent: Yandex
  6. ## googleonly pages ##
  7. Disallow: */spb/
  8. Disallow: */spb-opt/
  9. Disallow: */ekb/
  10. Disallow: */ekb-opt/
  11. Disallow: */novosibirsk/
  12. Disallow: */novosibirsk-opt/
  13. Disallow: */nn/
  14. Disallow: */nn-opt/
  15. Disallow: */kazan/
  16. Disallow: */cheljabinsk/
  17. Disallow: */omsk/
  18. Disallow: */samara/
  19. Disallow: */rostov/
  20. ## content pages ##
  21. Disallow: */blog/
  22. Disallow: */stati/
  23. Disallow: */novosti
  24. Disallow: */seorating/
  25. Disallow: */rating/
  26. ## system hidden pages ##
  27. Disallow: *admin/
  28. Disallow: *helpdesk/
  29. Disallow: *yandexmarket/
  30. Disallow: *cml1c/
  31. Disallow: */vk/
  32. Disallow: */xml/
  33. Disallow: */yml/
  34. Disallow: */turbo/
  35. Disallow: */logs/
  36. Disallow: *multiform/
  37. Disallow: *webasyst/
  38. Disallow: */test/
  39. Disallow: */old/
  40. Disallow: *.html
  41. Disallow: *.php
  42. Disallow: *.pdf
  43. Disallow: */amp/
  44. ## info and service pages ##
  45. Disallow: *search
  46. Disallow: *mailer/
  47. Disallow: *login/
  48. Disallow: *signup/
  49. Disallow: *forgotpassword/
  50. Disallow: *order/
  51. Disallow: */cart/
  52. Disallow: *onestep/
  53. Disallow: *checkout/
  54. Disallow: */my/
  55. ## service links ##
  56. Disallow: *tel:
  57. Disallow: *skype:
  58. Disallow: *mailto:
  59. Disallow: *tg:
  60. Disallow: *viber:
  61. ## garbage and dublicates ##
  62. Disallow: *undefined
  63. Disallow: *compare/
  64. Disallow: *?
  65. Allow: *.*?
  66. Allow: *config/?
  67. Allow: *?page=
  68. Disallow: *?page=*&
  69. Disallow: *product*/?page=
  70. ## blog garbage ##
  71. Disallow: */author/
  72. Disallow: */2015/
  73. Disallow: */2016/
  74. Disallow: */2017/
  75. Disallow: */2018/
  76. Disallow: */2019/
  77. Disallow: */2020/
  78. Disallow: */2021/
  79. Disallow: */2022/
  80. Disallow: */2023/
  81. Disallow: */2024/
  82. Disallow: */2025/
  83. Disallow: */2026/
  84. Disallow: */2027/
  85. Disallow: */2028/
  86. Disallow: */2029/
  87. Disallow: */2030/
  88. Disallow: */2031/
  89. Disallow: */2032/
  90. Disallow: */2033/
  91. Disallow: */2034/
  92. Disallow: */2035/
  93. Allow: /product/20*/
  94. Disallow: /product/20*/?
  95. ## individual rules ##
  96. Disallow: */tag/
  97. Disallow: */reviews/
  98. ## end ##
  99. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  100. Sitemap: https://{storefront_url}/sitemap.xml