Связаться с нами
 отравить заявку в ТП
 написать на почту
 написать в Telegram
Войти
0

robots.txt: универсальный файл для интернет-магазина на Webasyst Shop Script. Инструкция по внедрению

Ниже представлен шаблонный robots.txt для интернет-магазинов на Webasyst Shop Script. Данный шаблон robots.txt подойдет для 99% интернет-магазинов. Обратите внимание на выделенные в шаблоне строчки красным цветом: их необходимо перед размещением подкоррективать.

Чикуров Анатолий
Чикуров Анатолий
Для тех кто хочет немного теории - есть отдельная статья на тему "Правильная настройка индексации интернет-магазина на Shop Script". Ссылка на статью.
Инструкция по внедрению robots.txt на основную витрину сайта
  1. Скопируйте себе весь код для основной витрины сайта.
  2. Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: */tag/" (3 раза).
  3. Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчки "Disallow: */reviews/" (3 раза).
  4. В строчке "Sitemap: https://site.ru/sitemap.xml" укажите домен своего сайта вместо "site.ru" (3 раза).
  5. Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##" (3 раза).
  6. Убедитесь, что вы внесли изменения 3 раза для каждого User-agent-а: для Yandex, для Google, и для всех остальных роботов (User-agent: *)
  7. Введите итоговый код в настройках («админка» --> «Сайт» --> «*выбрать основную витрину из списка*» --> «Настройки сайта» --> «поле "robots.txt"»
  8. Обязательно проверьте файл robots.txt на основной витрине после внесения изменений (доступен по адресу https://site.ru/robots.txt).

Шаблон robots.txt для основной витрины сайта

  1. #upd 10.08.2023
  2. #author: @anatoly_chikurov
  4. User-agent: Yandex
  5. ## googleonly usual storefronts ##
  6. Disallow: */msk/ #1
  7. Disallow: */moskva/
  8. Disallow: */spb/ #2
  9. Disallow: */novosibirsk/ #3
  10. Disallow: */nsk/
  11. Disallow: */ekb/ #4
  12. Disallow: */ekaterinburg/
  13. Disallow: */eburg/
  14. Disallow: */kazan/ #5
  15. Disallow: */nn/ #6
  16. Disallow: */chelyabinsk/ #7
  17. Disallow: */cheljabinsk/
  18. Disallow: */krasnoyarsk/ #8
  19. Disallow: */krasnojarsk/
  20. Disallow: */samara/ #9
  21. Disallow: */ufa/ #10
  22. Disallow: */rostov/ #11
  23. Disallow: */omsk/ #12
  24. Disallow: */krasnodar/ #13
  25. Disallow: */voronezh/ #14
  26. Disallow: */perm/ #15
  27. Disallow: */volgograd/ #16
  28. Disallow: */saratov/ #17
  29. Disallow: */tyumen/ #18
  30. Disallow: */tjumen/
  31. Disallow: */tolyatti/ #19
  32. Disallow: */toljatti/
  33. Disallow: */barnaul/ #20
  34. Disallow: */izhevsk/ #21
  35. Disallow: */mahachkala/ #22
  36. Disallow: */habarovsk/ #23
  37. Disallow: */ulyanovsk/ #24
  38. Disallow: */uljanovsk/
  39. Disallow: */irkutsk/ #25**************
  40. Disallow: */vladivostok/ #26
  41. Disallow: */yaroslavl/ #27
  42. Disallow: */jaroslavl/
  43. Disallow: */kemerovo/ #28
  44. Disallow: */tomsk/ #29
  45. Disallow: */naberezhnye-chelny/ #30
  46. Disallow: */sevastopol/ #31
  47. Disallow: */stavropol/ #32
  48. Disallow: */orenburg/ #33
  49. Disallow: */stavropol/ #34
  50. Disallow: */novokuzneck/ #35
  51. Disallow: */ryazan/ #36
  52. Disallow: */rjazan/
  53. Disallow: */balashiha/ #37
  54. Disallow: */penza/ #38
  55. Disallow: */cheboksary/ #39
  56. Disallow: */lipeck/ #40
  57. Disallow: */kaliningrad/ #41
  58. Disallow: */astrahan/ #42
  59. Disallow: */tula/ #43
  60. Disallow: */kirov/ #44
  61. Disallow: */sochi/ #45
  62. Disallow: */kursk/ #46
  63. Disallow: */ulan-udeh/ #47
  64. Disallow: */tver/ #48
  65. Disallow: */magnitogorsk/ #49
  66. Disallow: */surgut/ #50
  67. Disallow: */bryansk/ #51
  68. Disallow: */brjansk/
  69. Disallow: */ivanovo/ #52
  70. Disallow: */yakutsk/ #53
  71. Disallow: */jakutsk/
  72. Disallow: */vladimir/ #54
  73. Disallow: */simferopol/ #55
  74. Disallow: */belgorod/ #56
  75. Disallow: */nizhnij-tagil/ #57
  76. Disallow: */kaluga/ #58
  77. Disallow: */chita/ #59
  78. Disallow: */groznyj/ #60
  79. Disallow: */volzhskij/ #61
  80. Disallow: */smolensk/ #62
  81. Disallow: */podolsk/ #63
  82. Disallow: */saransk/ #64
  83. Disallow: */vologda/ #65
  84. Disallow: */kurgan/ #66
  85. Disallow: */cherepovec/ #67
  86. Disallow: */orel/ #68
  87. Disallow: */oryol/
  88. Disallow: */arhangelsk/ #69
  89. Disallow: */vladikavkaz/ #70
  90. Disallow: */nizhnevartovsk/ #71
  91. Disallow: */yoshkar-ola/ #72**********
  92. Disallow: */sterlitamak/ #73
  93. Disallow: */murmansk/ #74
  94. Disallow: */kostroma/ #75
  95. Disallow: */novorossijsk/ #76
  96. Disallow: */tambov/ #77
  97. Disallow: */himki/ #78
  98. Disallow: */mytischi/ #79********
  99. Disallow: */nalchik/ #80********
  100. Disallow: */taganrog/ #81
  101. ## googleonly opt storefronts ##
  102. Disallow: */msk-opt/ #1
  103. Disallow: */moskva-opt/
  104. Disallow: */spb-opt/ #2
  105. Disallow: */novosibirsk-opt/ #3
  106. Disallow: */nsk-opt/
  107. Disallow: */ekb-opt/ #4
  108. Disallow: */ekaterinburg-opt/
  109. Disallow: */eburg-opt/
  110. Disallow: */kazan-opt/ #5
  111. Disallow: */nn-opt/ #6
  112. Disallow: */chelyabinsk-opt/ #7
  113. Disallow: */cheljabinsk-opt/
  114. Disallow: */krasnoyarsk-opt/ #8
  115. Disallow: */krasnojarsk-opt/
  116. Disallow: */samara-opt/ #9
  117. Disallow: */ufa-opt/ #10
  118. Disallow: */rostov-opt/ #11
  119. Disallow: */omsk-opt/ #12
  120. Disallow: */krasnodar-opt/ #13
  121. Disallow: */voronezh-opt/ #14
  122. Disallow: */perm-opt/ #15
  123. Disallow: */volgograd-opt/ #16
  124. Disallow: */saratov-opt/ #17
  125. Disallow: */tyumen-opt/ #18
  126. Disallow: */tjumen-opt/
  127. Disallow: */sochi-opt/ #44
  128. Disallow: */ivanovo-opt/ #51
  129. ## system hidden pages ##
  130. Disallow: *admin/
  131. Disallow: *helpdesk/
  132. Disallow: *cml1c/
  133. Disallow: */vk/
  134. Disallow: */turbo/
  135. Disallow: */logs/
  136. Disallow: *multiform/
  137. Disallow: *webasyst/
  138. Disallow: */test/
  139. Disallow: */old/
  140. Disallow: *.html
  141. Disallow: *.php
  142. Disallow: *.pdf
  143. Disallow: */amp/
  144. ## info and service pages ##
  145. Disallow: *search
  146. Disallow: *mailer/
  147. Disallow: *login/
  148. Disallow: *signup/
  149. Disallow: *forgotpassword/
  150. Disallow: *order/
  151. Disallow: */cart/
  152. Disallow: *onestep/
  153. Disallow: *checkout/
  154. Disallow: */my/
  155. ## service links ##
  156. Disallow: *tel:
  157. Disallow: *skype:
  158. Disallow: *mailto:
  159. Disallow: *tg:
  160. Disallow: *viber:
  161. ## garbage and dublicates ##
  162. Disallow: *undefined
  163. Disallow: *compare/
  164. Disallow: *?
  165. Allow: *.*?
  166. Allow: *config/?
  167. Allow: *?page=
  168. Disallow: *?page=*&
  169. Disallow: *&page=
  170. Disallow: *?page=1
  171. Allow: *?page=10
  172. Allow: *?page=11
  173. Allow: *?page=12
  174. Allow: *?page=13
  175. Allow: *?page=14
  176. Allow: *?page=15
  177. Allow: *?page=16
  178. Allow: *?page=17
  179. Allow: *?page=18
  180. Allow: *?page=19
  181. Disallow: *?page=10*&
  182. Disallow: *?page=11*&
  183. Disallow: *?page=12*&
  184. Disallow: *?page=13*&
  185. Disallow: *?page=14*&
  186. Disallow: *?page=15*&
  187. Disallow: *?page=16*&
  188. Disallow: *?page=17*&
  189. Disallow: *?page=18*&
  190. Disallow: *?page=19*&
  191. Disallow: *product*/?page=
  192. ## blog garbage ##
  193. Disallow: */author/
  194. Disallow: */2015/
  195. Disallow: */2016/
  196. Disallow: */2017/
  197. Disallow: */2018/
  198. Disallow: */2019/
  199. Disallow: */2020/
  200. Disallow: */2021/
  201. Disallow: */2022/
  202. Disallow: */2023/
  203. Disallow: */2024/
  204. Disallow: */2025/
  205. Disallow: */2026/
  206. Disallow: */2027/
  207. Disallow: */2028/
  208. Disallow: */2029/
  209. Disallow: */2030/
  210. Disallow: */2031/
  211. Disallow: */2032/
  212. Disallow: */2033/
  213. Disallow: */2034/
  214. Disallow: */2035/
  215. Allow: /product/20*/
  216. Disallow: /product/20*/?
  217. ## individual rules ##
  218. Disallow: */tag/
  219. Disallow: */reviews/
  220. ## end ##
  221. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  222. Sitemap: https://site.ru/sitemap.xml
  224. User-agent: Googlebot
  225. ## system hidden pages ##
  226. Disallow: *admin/
  227. Disallow: *helpdesk/
  228. Disallow: *cml1c/
  229. Disallow: */vk/
  230. Disallow: */turbo/
  231. Disallow: */logs/
  232. Disallow: *multiform/
  233. Disallow: *webasyst/
  234. Disallow: */test/
  235. Disallow: */old/
  236. Disallow: *.html
  237. Disallow: *.php
  238. Disallow: *.pdf
  239. ## info and service pages ##
  240. Disallow: *search
  241. Disallow: *mailer/
  242. Disallow: *login/
  243. Disallow: *signup/
  244. Disallow: *forgotpassword/
  245. Disallow: *order/
  246. Disallow: */cart/
  247. Disallow: *onestep/
  248. Disallow: *checkout/
  249. Disallow: */my/
  250. ## service links ##
  251. Disallow: *tel:
  252. Disallow: *skype:
  253. Disallow: *mailto:
  254. Disallow: *tg:
  255. Disallow: *viber:
  256. ## garbage and dublicates ##
  257. Disallow: *undefined
  258. Disallow: *compare/
  259. Disallow: *?
  260. Allow: *.*?
  261. Allow: *config/?
  262. Allow: *?page=
  263. Disallow: *?page=*&
  264. Disallow: *&page=
  265. Disallow: *?page=1
  266. Allow: *?page=10
  267. Allow: *?page=11
  268. Allow: *?page=12
  269. Allow: *?page=13
  270. Allow: *?page=14
  271. Allow: *?page=15
  272. Allow: *?page=16
  273. Allow: *?page=17
  274. Allow: *?page=18
  275. Allow: *?page=19
  276. Disallow: *?page=10*&
  277. Disallow: *?page=11*&
  278. Disallow: *?page=12*&
  279. Disallow: *?page=13*&
  280. Disallow: *?page=14*&
  281. Disallow: *?page=15*&
  282. Disallow: *?page=16*&
  283. Disallow: *?page=17*&
  284. Disallow: *?page=18*&
  285. Disallow: *?page=19*&
  286. Disallow: *product*/?page=
  287. Allow: *utm_source=
  288. ## blog garbage ##
  289. Disallow: */author/
  290. Disallow: */2015/
  291. Disallow: */2016/
  292. Disallow: */2017/
  293. Disallow: */2018/
  294. Disallow: */2019/
  295. Disallow: */2020/
  296. Disallow: */2021/
  297. Disallow: */2022/
  298. Disallow: */2023/
  299. Disallow: */2024/
  300. Disallow: */2025/
  301. Disallow: */2026/
  302. Disallow: */2027/
  303. Disallow: */2028/
  304. Disallow: */2029/
  305. Disallow: */2030/
  306. Disallow: */2031/
  307. Disallow: */2032/
  308. Disallow: */2033/
  309. Disallow: */2034/
  310. Disallow: */2035/
  311. Allow: /product/20*/
  312. Disallow: /product/20*/?
  313. ## individual rules ##
  314. Disallow: */tag/
  315. Disallow: */reviews/
  316. ## end ##
  317. Sitemap: https://site.ru/sitemap.xml
  319. User-agent: *
  320. ## googleonly usual storefronts ##
  321. Disallow: */msk/ #1
  322. Disallow: */moskva/
  323. Disallow: */spb/ #2
  324. Disallow: */novosibirsk/ #3
  325. Disallow: */nsk/
  326. Disallow: */ekb/ #4
  327. Disallow: */ekaterinburg/
  328. Disallow: */eburg/
  329. Disallow: */kazan/ #5
  330. Disallow: */nn/ #6
  331. Disallow: */chelyabinsk/ #7
  332. Disallow: */cheljabinsk/
  333. Disallow: */krasnoyarsk/ #8
  334. Disallow: */krasnojarsk/
  335. Disallow: */samara/ #9
  336. Disallow: */ufa/ #10
  337. Disallow: */rostov/ #11
  338. Disallow: */omsk/ #12
  339. Disallow: */krasnodar/ #13
  340. Disallow: */voronezh/ #14
  341. Disallow: */perm/ #15
  342. Disallow: */volgograd/ #16
  343. Disallow: */saratov/ #17
  344. Disallow: */tyumen/ #18
  345. Disallow: */tjumen/
  346. Disallow: */tolyatti/ #19
  347. Disallow: */toljatti/
  348. Disallow: */barnaul/ #20
  349. Disallow: */izhevsk/ #21
  350. Disallow: */mahachkala/ #22
  351. Disallow: */habarovsk/ #23
  352. Disallow: */ulyanovsk/ #24
  353. Disallow: */uljanovsk/
  354. Disallow: */irkutsk/ #25**************
  355. Disallow: */vladivostok/ #26
  356. Disallow: */yaroslavl/ #27
  357. Disallow: */jaroslavl/
  358. Disallow: */kemerovo/ #28
  359. Disallow: */tomsk/ #29
  360. Disallow: */naberezhnye-chelny/ #30
  361. Disallow: */sevastopol/ #31
  362. Disallow: */stavropol/ #32
  363. Disallow: */orenburg/ #33
  364. Disallow: */stavropol/ #34
  365. Disallow: */novokuzneck/ #35
  366. Disallow: */ryazan/ #36
  367. Disallow: */rjazan/
  368. Disallow: */balashiha/ #37
  369. Disallow: */penza/ #38
  370. Disallow: */cheboksary/ #39
  371. Disallow: */lipeck/ #40
  372. Disallow: */kaliningrad/ #41
  373. Disallow: */astrahan/ #42
  374. Disallow: */tula/ #43
  375. Disallow: */kirov/ #44
  376. Disallow: */sochi/ #45
  377. Disallow: */kursk/ #46
  378. Disallow: */ulan-udeh/ #47
  379. Disallow: */tver/ #48
  380. Disallow: */magnitogorsk/ #49
  381. Disallow: */surgut/ #50
  382. Disallow: */bryansk/ #51
  383. Disallow: */brjansk/
  384. Disallow: */ivanovo/ #52
  385. Disallow: */yakutsk/ #53
  386. Disallow: */jakutsk/
  387. Disallow: */vladimir/ #54
  388. Disallow: */simferopol/ #55
  389. Disallow: */belgorod/ #56
  390. Disallow: */nizhnij-tagil/ #57
  391. Disallow: */kaluga/ #58
  392. Disallow: */chita/ #59
  393. Disallow: */groznyj/ #60
  394. Disallow: */volzhskij/ #61
  395. Disallow: */smolensk/ #62
  396. Disallow: */podolsk/ #63
  397. Disallow: */saransk/ #64
  398. Disallow: */vologda/ #65
  399. Disallow: */kurgan/ #66
  400. Disallow: */cherepovec/ #67
  401. Disallow: */orel/ #68
  402. Disallow: */oryol/
  403. Disallow: */arhangelsk/ #69
  404. Disallow: */vladikavkaz/ #70
  405. Disallow: */nizhnevartovsk/ #71
  406. Disallow: */yoshkar-ola/ #72**********
  407. Disallow: */sterlitamak/ #73
  408. Disallow: */murmansk/ #74
  409. Disallow: */kostroma/ #75
  410. Disallow: */novorossijsk/ #76
  411. Disallow: */tambov/ #77
  412. Disallow: */himki/ #78
  413. Disallow: */mytischi/ #79********
  414. Disallow: */nalchik/ #80********
  415. Disallow: */taganrog/ #81
  416. ## googleonly opt storefronts ##
  417. Disallow: */msk-opt/ #1
  418. Disallow: */moskva-opt/
  419. Disallow: */spb-opt/ #2
  420. Disallow: */novosibirsk-opt/ #3
  421. Disallow: */nsk-opt/
  422. Disallow: */ekb-opt/ #4
  423. Disallow: */ekaterinburg-opt/
  424. Disallow: */eburg-opt/
  425. Disallow: */kazan-opt/ #5
  426. Disallow: */nn-opt/ #6
  427. Disallow: */chelyabinsk-opt/ #7
  428. Disallow: */cheljabinsk-opt/
  429. Disallow: */krasnoyarsk-opt/ #8
  430. Disallow: */krasnojarsk-opt/
  431. Disallow: */samara-opt/ #9
  432. Disallow: */ufa-opt/ #10
  433. Disallow: */rostov-opt/ #11
  434. Disallow: */omsk-opt/ #12
  435. Disallow: */krasnodar-opt/ #13
  436. Disallow: */voronezh-opt/ #14
  437. Disallow: */perm-opt/ #15
  438. Disallow: */volgograd-opt/ #16
  439. Disallow: */saratov-opt/ #17
  440. Disallow: */tyumen-opt/ #18
  441. Disallow: */tjumen-opt/
  442. Disallow: */sochi-opt/ #44
  443. Disallow: */ivanovo-opt/ #51
  444. ## system hidden pages ##
  445. Disallow: *admin/
  446. Disallow: *helpdesk/
  447. Disallow: *cml1c/
  448. Disallow: */vk/
  449. Disallow: */turbo/
  450. Disallow: */logs/
  451. Disallow: *multiform/
  452. Disallow: *webasyst/
  453. Disallow: */test/
  454. Disallow: */old/
  455. Disallow: *.html
  456. Disallow: *.php
  457. Disallow: *.pdf
  458. Disallow: */amp/
  459. ## info and service pages ##
  460. Disallow: *search
  461. Disallow: *mailer/
  462. Disallow: *login/
  463. Disallow: *signup/
  464. Disallow: *forgotpassword/
  465. Disallow: *order/
  466. Disallow: */cart/
  467. Disallow: *onestep/
  468. Disallow: *checkout/
  469. Disallow: */my/
  470. ## service links ##
  471. Disallow: *tel:
  472. Disallow: *skype:
  473. Disallow: *mailto:
  474. Disallow: *tg:
  475. Disallow: *viber:
  476. ## garbage and dublicates ##
  477. Disallow: *undefined
  478. Disallow: *compare/
  479. Disallow: *?
  480. Allow: *.*?
  481. Allow: *config/?
  482. Allow: *?page=
  483. Disallow: *?page=*&
  484. Disallow: *&page=
  485. Disallow: *?page=1
  486. Allow: *?page=10
  487. Allow: *?page=11
  488. Allow: *?page=12
  489. Allow: *?page=13
  490. Allow: *?page=14
  491. Allow: *?page=15
  492. Allow: *?page=16
  493. Allow: *?page=17
  494. Allow: *?page=18
  495. Allow: *?page=19
  496. Disallow: *?page=10*&
  497. Disallow: *?page=11*&
  498. Disallow: *?page=12*&
  499. Disallow: *?page=13*&
  500. Disallow: *?page=14*&
  501. Disallow: *?page=15*&
  502. Disallow: *?page=16*&
  503. Disallow: *?page=17*&
  504. Disallow: *?page=18*&
  505. Disallow: *?page=19*&
  506. Disallow: *product*/?page=
  507. ## blog garbage ##
  508. Disallow: */author/
  509. Disallow: */2015/
  510. Disallow: */2016/
  511. Disallow: */2017/
  512. Disallow: */2018/
  513. Disallow: */2019/
  514. Disallow: */2020/
  515. Disallow: */2021/
  516. Disallow: */2022/
  517. Disallow: */2023/
  518. Disallow: */2024/
  519. Disallow: */2025/
  520. Disallow: */2026/
  521. Disallow: */2027/
  522. Disallow: */2028/
  523. Disallow: */2029/
  524. Disallow: */2030/
  525. Disallow: */2031/
  526. Disallow: */2032/
  527. Disallow: */2033/
  528. Disallow: */2034/
  529. Disallow: */2035/
  530. Allow: /product/20*/
  531. Disallow: /product/20*/?
  532. ## individual rules ##
  533. Disallow: */tag/
  534. Disallow: */reviews/
  535. ## end ##
  536. Crawl-delay: 5
  537. Sitemap: https://site.ru/sitemap.xml
  539. User-agent: Mediapartners-Google
  540. Allow: /
  541. Crawl-delay: 3
Инструкция по внедрению robots.txt на региональные поддомены сайта
  1. Скопируйте себе весь код для региональных поддоменов.
  2. Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: /tag/" и "Disallow: */tag/".
  3. Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчку "Disallow: */reviews/".
  4. Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##".
  5. Введите итоговый код:
    • Если вы используете плагин "SEO-регионы", то перейдите на страницу "/webasyst/shop/?plugin=regions&action=robots", вставьте код туда, выберите все региональные витрины (т.е. все витрины кроме основной) и нажмите кнопку "Сохранить".
    • Если вы не используете плагин "SEO-регионы", то заходите в настройки сайта и поочередно выбирая все региональные витрины, вставляйте код и сохраняйте изменения, не забывая при этом заменять в строчке "Sitemap: https://{storefront_url}/sitemap.xml" фрагмент "{storefront_url}" на домен вашей региональной витрины (пример: "Sitemap: https://spb.test.ru/sitemap.xml").
  6. Обязательно проверьте файл robots.txt на региональных витринах после внесения изменений (доступны по адресу https://spb.site.ru/robots.txt, https://ufa.site.ru/robots.txt, https://omsk.site.ru/robots.txt, итд).

Шаблон robots.txt для региональных поддоменов

  1. #upd 10.08.2023
  2. #author: @anatoly_chikurov
  4. User-agent: *
  5. Disallow: /
  7. User-agent: Yandex
  8. ## googleonly pages ##
  9. ## content pages ##
  10. Disallow: */blog/
  11. Disallow: */stati/
  12. Disallow: */novosti
  13. Disallow: */seorating/
  14. Disallow: */rating/
  15. ## system hidden pages ##
  16. Disallow: *admin/
  17. Disallow: *helpdesk/
  18. Disallow: *cml1c/
  19. Disallow: */vk/
  20. Disallow: */turbo/
  21. Disallow: */logs/
  22. Disallow: *multiform/
  23. Disallow: *webasyst/
  24. Disallow: */test/
  25. Disallow: */old/
  26. Disallow: *.html
  27. Disallow: *.php
  28. Disallow: *.pdf
  29. Disallow: */amp/
  30. ## info and service pages ##
  31. Disallow: *search
  32. Disallow: *mailer/
  33. Disallow: *login/
  34. Disallow: *signup/
  35. Disallow: *forgotpassword/
  36. Disallow: *order/
  37. Disallow: */cart/
  38. Disallow: *onestep/
  39. Disallow: *checkout/
  40. Disallow: */my/
  41. ## service links ##
  42. Disallow: *tel:
  43. Disallow: *skype:
  44. Disallow: *mailto:
  45. Disallow: *tg:
  46. Disallow: *viber:
  47. ## garbage and dublicates ##
  48. Disallow: *undefined
  49. Disallow: *compare/
  50. Disallow: *?
  51. Allow: *.*?
  52. Allow: *config/?
  53. Allow: *?page=
  54. Disallow: *?page=*&
  55. Disallow: *&page=
  56. Disallow: *?page=1
  57. Allow: *?page=10
  58. Allow: *?page=11
  59. Allow: *?page=12
  60. Allow: *?page=13
  61. Allow: *?page=14
  62. Allow: *?page=15
  63. Allow: *?page=16
  64. Allow: *?page=17
  65. Allow: *?page=18
  66. Allow: *?page=19
  67. Disallow: *?page=10*&
  68. Disallow: *?page=11*&
  69. Disallow: *?page=12*&
  70. Disallow: *?page=13*&
  71. Disallow: *?page=14*&
  72. Disallow: *?page=15*&
  73. Disallow: *?page=16*&
  74. Disallow: *?page=17*&
  75. Disallow: *?page=18*&
  76. Disallow: *?page=19*&
  77. Disallow: *product*/?page=
  78. ## blog garbage ##
  79. Disallow: */author/
  80. Disallow: */2015/
  81. Disallow: */2016/
  82. Disallow: */2017/
  83. Disallow: */2018/
  84. Disallow: */2019/
  85. Disallow: */2020/
  86. Disallow: */2021/
  87. Disallow: */2022/
  88. Disallow: */2023/
  89. Disallow: */2024/
  90. Disallow: */2025/
  91. Disallow: */2026/
  92. Disallow: */2027/
  93. Disallow: */2028/
  94. Disallow: */2029/
  95. Disallow: */2030/
  96. Disallow: */2031/
  97. Disallow: */2032/
  98. Disallow: */2033/
  99. Disallow: */2034/
  100. Disallow: */2035/
  101. Allow: /product/20*/
  102. Disallow: /product/20*/?
  103. ## individual rules ##
  104. Disallow: */tag/
  105. Disallow: */reviews/
  106. ## end ##
  107. Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
  108. Sitemap: https://{storefront_url}/sitemap.xml
Написать комментарий
15 комментариев
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова26 декабря 2020 13:32
Обновление #upd 26.12.2020
— снят запрет с индексации .js, .css, и прочих файлов, если они подключены с get-параметрам, содержащими информацию о версии файлов
— снят запрет для индексации страниц товаров c рекламными UTM-метками для Googlebot
— снят запрет для индексации AMP-страниц для Googlebot
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова18 января 2021 06:40
Обновление #upd 18.01.2020
— удаление лишних директив
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова6 февраля 2021 12:17
Обновление 06.02.2020
— новая группа правил ## googleonly pages ## (для проектов, на которых реализовано продвижение папками в Google)
— новая группа правил ## content pages ## (для проектов, на которых имеется блог и/или используется плагин "SEO-топы и списки")
ответить
В
ВЕталВеб-студия Анатолия Чикурова28 апреля 2021 23:39
Добрый!
Расскажите по подробней пожалуйста о директиве:

## googleonly pages ##
Disallow: */spb/
Disallow: */spb-opt/
Disallow: */ekb/
Disallow: */ekb-opt/
Disallow: */novosibirsk/

Вы пишите , что "Данный шаблон robots.txt подойдет для 99% интернет-магазинов". Я например на сайтах не использую подобных каталогов, я использую субдомены. Соответственно мне закрывать в роботсе нет смысла региональные каталоги, и исходя из этого мне можно удалить эту часть роботса? или я не правильно понял назначение директивы ## googleonly pages ## ?

И ещё в вашем шаблоне роботса региональные каталоги закрыты (Disallow) и для основного домена и для регионального, в чём фишка?
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова29 апреля 2021 11:13
Фишка в том, что папки индексируются только у основного домена и только в гугле.

Если вы не используете папки для продвижения в Google, то закрыв их от индексации вы в общем-то ничего не потеряете. Будет лишь несколько лишних строк в robots.txt, которые ничего не делают. Хотите их удалить - удаляйте.
ответить
Д
ДенисВеб-студия Анатолия Чикурова21 июня 2021 17:11
Добрый день.
Надо ли что то менять в файлах robots, предоставленных Вами, если у меня интернет магазин на поддоменах xxx.site.ru ?
В региональном файле Вы закрыли индексацию для всех поисковиков кроме Яндекса. На сколько понял это нужно для сайтов на папках. Нужно ли это делать в моем случае? Для Чего нужен User-agent: Mediapartners-Google на основной витрине?
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова22 июня 2021 14:56
Денис, для начала, немного "моей" терминалогии:
- "витрина на поддомене" - это сайт вида msk.site.ru
- "витрина на папке" - это витрина сайта вида site.ru/msk/

Гугл очень неохотно индексирует/ранжирует поддомены. Но папки воспринимает нормально, если все грамотно настроено.

Яндекс, напротив, хорошо воспринимает поддомены. В идеале на сайте нужно реализовывать гибрид поддоменов и папок: поддомены кормить Яндексу, папки кормить Гуглу.

Скорее всего у вас все реализовано на поддоменах, а не на папках (я не встречал ни одного сайта на Webasyst, сделанного не мной, на котором грамотно настроены папки для гугла).

Файл robots.txt, представленный на данной странице, универсален - его можно в неизменном виде внедрять и на проекты на поддоменах, и на проекты на папках, и на проекты с гибридной системой. Если у вас не реализованы папки и вы не удалите правила, которые используются в файле-шаблоне robots.txt, то у вас просто будут лишние строки, которые абсолютно ни на что не влияют.

---

Что касается "User-agent: Mediapartners-Google" - долго объяснять. Если вкратце, это правило было добавлено для снятия запрета на индексацию страниц товаров с GET-параметрами для гугловского робота, который парсит сайт с целью сбора информации для рекламных сервисов (в частности, для сервиса "Google Покупки").

Однако на практике это не всегда работает, поскольку Google сам же перестал следовать своей документации и за информацией на сайт часто приходят обычные "нерекламные" роботы. Подозреваю, что это недоразумение связано с переходом на Mobile First индексацию и в будущем специалисты Google это исправят. Ну а пока что в robots.txt приходится добавлять строчку "Allow: *utm_source=", во избежание проблем работы магазина на сервисе "Google Покупки".

---

В любом случае, рекомендую вам следовать стандартному шаблону. Он проверен на огромном количестве сайтов и действительно является универсальным решением.
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова8 августа 2021 09:17
Обновление #upd 08.08.2021
— добавлены новые правила для запрета сканирования некоторых страниц пагинаций
ответить
Л
Лаба ИльяВеб-студия Анатолия Чикурова14 декабря 2021 16:37
Анатолий в вашем примере по пагинации вы ориентируетесь на 20 страниц. Вопрос если у меня больше 20 я их все перечисляю ???

Allow: *?page=142
Allow: *?page=143
Allow: *?page=144
и т.д

Disallow: *?page=142*&
Disallow: *?page=143*&
Disallow: *?page=144*&
и т.д

А если у меня в корневую категорию выводятся все подкатегории, то это могут быть и очень больше цифры.

Например в этой категории https://huha.com.ua/category/tovary-dlya-detey/ более 2000 страниц пагинации. Будет ли нормально работать robot.txt если прописать все 2000 страниц пагинации???

ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова15 декабря 2021 06:57
В этом нет необходимости. 10 правил вида Allow: *?page=10, Allow: *?page=11 добавлены, чтобы перебить директиву Disallow: *?page=1 закрывающую страницу-дубль категории. Если у вас в категории есть хоть 2000 страниц пагинаций, их сканирование не будет запрещено. Дополнительных правил для каждой отдельно взятой страницы пагинации прописывать не требуется.
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова19 сентября 2022 09:06
Обновление #upd 19.09.2022
— полностью переработан подраздел ## googleonly usual storefronts ##
— добавлен подраздел ## googleonly opt storefronts ##

Если вы не понимаете что это за правила в robots.txt - значит они вам не нужны. Можете их оставить, можете удалить - разницы не будет.
ответить
Б
Богомолова Ольга ИгоревнаВеб-студия Анатолия Чикурова7 июня 2023 12:28
Ваша настройка robots ведет к тому, что Google не может сканировать даже главную страницу. https://disk.yandex.ru/i/2iW8K2yzqD8Jcw
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова7 июня 2023 14:03
Ольга, всё корректно работает на сотнях проектах.

Не могу посмотреть robots.txt на вашем сайте baf-agro.ru, т.к. вы его на момент написания данного комментария изменили, но скорее всего вы сами допустили грубую ошибку: разместили robots.txt который предназначен для поддомена сайта на основной домен сайта.

В шаблоне robots.txt для поддоменов сайта есть правило запрещающая роботам Google сканировать страницы сайта. Будьте пожалуйста внимательнее.
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова8 июля 2023 14:28
Обновление #upd 08.08.2023
— снят запрет для сканирования страниц /yml/
— снят запрет для сканирования страниц /xml/
ответить
Чикуров Анатолий
Чикуров АнатолийВеб-студия Анатолия Чикурова10 августа 2023 15:57
Обновление #upd 10.08.2023
— убран запрет на сканирование страниц содержащих в URL "yandexmarket/"
ответить
Ваша корзина пуста
Выберите интересующую услугу или плагин и добавьте в корзину.