Для тех кто хочет немного теории - есть отдельная статья на тему "Правильная настройка индексации интернет-магазина на Shop Script". Ссылка на статью.
Инструкция по внедрению robots.txt на основную витрину сайта
- Скопируйте себе весь код для основной витрины сайта.
- Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: */tag/" (3 раза).
- Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчки "Disallow: */reviews/" (3 раза).
- В строчке "Sitemap: https://site.ru/sitemap.xml" укажите домен своего сайта вместо "site.ru" (3 раза).
- Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##" (3 раза).
- Убедитесь, что вы внесли изменения 3 раза для каждого User-agent-а: для Yandex, для Google, и для всех остальных роботов (User-agent: *)
- Введите итоговый код в настройках («админка» --> «Сайт» --> «*выбрать основную витрину из списка*» --> «Настройки сайта» --> «поле "robots.txt"»
- Обязательно проверьте файл robots.txt на основной витрине после внесения изменений (доступен по адресу https://site.ru/robots.txt).
Шаблон robots.txt для основной витрины сайта
- #upd 10.08.2023
- #author: @anatoly_chikurov
- User-agent: Yandex
- ## googleonly usual storefronts ##
- Disallow: */city/
- ## googleonly opt storefronts ##
- ## system hidden pages ##
- Disallow: *admin/
- Disallow: *helpdesk/
- Disallow: *cml1c/
- Disallow: */vk/
- Disallow: */turbo/
- Disallow: */logs/
- Disallow: *multiform/
- Disallow: *webasyst/
- Disallow: */test/
- Disallow: */old/
- Disallow: *.html
- Disallow: *.php
- Disallow: *.pdf
- Disallow: */amp/
- ## info and service pages ##
- Disallow: *search
- Disallow: *mailer/
- Disallow: *login/
- Disallow: *signup/
- Disallow: *forgotpassword/
- Disallow: *order/
- Disallow: */cart/
- Disallow: *onestep/
- Disallow: *checkout
- Disallow: */my/
- ## service links ##
- Disallow: *tel:
- Disallow: *skype:
- Disallow: *mailto:
- Disallow: *tg:
- Disallow: *viber:
- ## garbage and dublicates ##
- Disallow: *undefined
- Disallow: *compare/
- Disallow: *?
- Allow: *.*?
- Allow: *config/?
- Allow: *?page=
- Disallow: *?page=*&
- Disallow: *&page=
- Disallow: *?page=1
- Allow: *?page=10
- Allow: *?page=11
- Allow: *?page=12
- Allow: *?page=13
- Allow: *?page=14
- Allow: *?page=15
- Allow: *?page=16
- Allow: *?page=17
- Allow: *?page=18
- Allow: *?page=19
- Disallow: *?page=10*&
- Disallow: *?page=11*&
- Disallow: *?page=12*&
- Disallow: *?page=13*&
- Disallow: *?page=14*&
- Disallow: *?page=15*&
- Disallow: *?page=16*&
- Disallow: *?page=17*&
- Disallow: *?page=18*&
- Disallow: *?page=19*&
- Disallow: *product*/?page=
- ## blog garbage ##
- Disallow: */author/
- Disallow: */2015/
- Disallow: */2016/
- Disallow: */2017/
- Disallow: */2018/
- Disallow: */2019/
- Disallow: */2020/
- Disallow: */2021/
- Disallow: */2022/
- Disallow: */2023/
- Disallow: */2024/
- Disallow: */2025/
- Disallow: */2026/
- Disallow: */2027/
- Disallow: */2028/
- Disallow: */2029/
- Disallow: */2030/
- Disallow: */2031/
- Disallow: */2032/
- Disallow: */2033/
- Disallow: */2034/
- Disallow: */2035/
- Allow: /product/20*/
- Disallow: /product/20*/?
- ## individual rules ##
- Disallow: */tag/
- Disallow: */reviews/
- ## end ##
- Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
- Sitemap: https://site.ru/sitemap.xml
- User-agent: Googlebot
- ## system hidden pages ##
- Disallow: *admin/
- Disallow: *helpdesk/
- Disallow: *cml1c/
- Disallow: */vk/
- Disallow: */turbo/
- Disallow: */logs/
- Disallow: *multiform/
- Disallow: *webasyst/
- Disallow: */test/
- Disallow: */old/
- Disallow: *.html
- Disallow: *.php
- Disallow: *.pdf
- ## info and service pages ##
- Disallow: *search
- Disallow: *mailer/
- Disallow: *login/
- Disallow: *signup/
- Disallow: *forgotpassword/
- Disallow: *order/
- Disallow: */cart/
- Disallow: *onestep/
- Disallow: *checkout
- Disallow: */my/
- ## service links ##
- Disallow: *tel:
- Disallow: *skype:
- Disallow: *mailto:
- Disallow: *tg:
- Disallow: *viber:
- ## garbage and dublicates ##
- Disallow: *undefined
- Disallow: *compare/
- Disallow: *?
- Allow: *.*?
- Allow: *config/?
- Allow: *?page=
- Disallow: *?page=*&
- Disallow: *&page=
- Disallow: *?page=1
- Allow: *?page=10
- Allow: *?page=11
- Allow: *?page=12
- Allow: *?page=13
- Allow: *?page=14
- Allow: *?page=15
- Allow: *?page=16
- Allow: *?page=17
- Allow: *?page=18
- Allow: *?page=19
- Disallow: *?page=10*&
- Disallow: *?page=11*&
- Disallow: *?page=12*&
- Disallow: *?page=13*&
- Disallow: *?page=14*&
- Disallow: *?page=15*&
- Disallow: *?page=16*&
- Disallow: *?page=17*&
- Disallow: *?page=18*&
- Disallow: *?page=19*&
- Disallow: *product*/?page=
- Allow: *utm_source=
- ## blog garbage ##
- Disallow: */author/
- Disallow: */2015/
- Disallow: */2016/
- Disallow: */2017/
- Disallow: */2018/
- Disallow: */2019/
- Disallow: */2020/
- Disallow: */2021/
- Disallow: */2022/
- Disallow: */2023/
- Disallow: */2024/
- Disallow: */2025/
- Disallow: */2026/
- Disallow: */2027/
- Disallow: */2028/
- Disallow: */2029/
- Disallow: */2030/
- Disallow: */2031/
- Disallow: */2032/
- Disallow: */2033/
- Disallow: */2034/
- Disallow: */2035/
- Allow: /product/20*/
- Disallow: /product/20*/?
- ## individual rules ##
- Disallow: */tag/
- Disallow: */reviews/
- ## end ##
- Sitemap: https://site.ru/sitemap.xml
- User-agent: *
- ## googleonly usual storefronts ##
- Disallow: */city/
- ## googleonly opt storefronts ##
- ## system hidden pages ##
- Disallow: *admin/
- Disallow: *helpdesk/
- Disallow: *cml1c/
- Disallow: */vk/
- Disallow: */turbo/
- Disallow: */logs/
- Disallow: *multiform/
- Disallow: *webasyst/
- Disallow: */test/
- Disallow: */old/
- Disallow: *.html
- Disallow: *.php
- Disallow: *.pdf
- Disallow: */amp/
- ## info and service pages ##
- Disallow: *search
- Disallow: *mailer/
- Disallow: *login/
- Disallow: *signup/
- Disallow: *forgotpassword/
- Disallow: *order/
- Disallow: */cart/
- Disallow: *onestep/
- Disallow: *checkout
- Disallow: */my/
- ## service links ##
- Disallow: *tel:
- Disallow: *skype:
- Disallow: *mailto:
- Disallow: *tg:
- Disallow: *viber:
- ## garbage and dublicates ##
- Disallow: *undefined
- Disallow: *compare/
- Disallow: *?
- Allow: *.*?
- Allow: *config/?
- Allow: *?page=
- Disallow: *?page=*&
- Disallow: *&page=
- Disallow: *?page=1
- Allow: *?page=10
- Allow: *?page=11
- Allow: *?page=12
- Allow: *?page=13
- Allow: *?page=14
- Allow: *?page=15
- Allow: *?page=16
- Allow: *?page=17
- Allow: *?page=18
- Allow: *?page=19
- Disallow: *?page=10*&
- Disallow: *?page=11*&
- Disallow: *?page=12*&
- Disallow: *?page=13*&
- Disallow: *?page=14*&
- Disallow: *?page=15*&
- Disallow: *?page=16*&
- Disallow: *?page=17*&
- Disallow: *?page=18*&
- Disallow: *?page=19*&
- Disallow: *product*/?page=
- ## blog garbage ##
- Disallow: */author/
- Disallow: */2015/
- Disallow: */2016/
- Disallow: */2017/
- Disallow: */2018/
- Disallow: */2019/
- Disallow: */2020/
- Disallow: */2021/
- Disallow: */2022/
- Disallow: */2023/
- Disallow: */2024/
- Disallow: */2025/
- Disallow: */2026/
- Disallow: */2027/
- Disallow: */2028/
- Disallow: */2029/
- Disallow: */2030/
- Disallow: */2031/
- Disallow: */2032/
- Disallow: */2033/
- Disallow: */2034/
- Disallow: */2035/
- Allow: /product/20*/
- Disallow: /product/20*/?
- ## individual rules ##
- Disallow: */tag/
- Disallow: */reviews/
- ## end ##
- Crawl-delay: 5
- Sitemap: https://site.ru/sitemap.xml
- User-agent: Mediapartners-Google
- Allow: /
- Crawl-delay: 3
Инструкция по внедрению robots.txt на региональные поддомены сайта
- Скопируйте себе весь код для региональных поддоменов.
- Если вы используете страницы тегов в качестве посадочных страниц - удалите строчки "Disallow: /tag/" и "Disallow: */tag/".
- Если вы используете страницы отзывов о товарах в качестве посадочных страниц - удалите строчку "Disallow: */reviews/".
- Если вам необходимо добавить дополнительные директивы - рекомендую вывести их в блоке "## individual rules ##".
- Введите итоговый код:
- Если вы используете плагин "SEO-регионы", то перейдите на страницу "/webasyst/shop/?plugin=regions&action=robots", вставьте код туда, выберите все региональные витрины (т.е. все витрины кроме основной) и нажмите кнопку "Сохранить".
- Если вы не используете плагин "SEO-регионы", то заходите в настройки сайта и поочередно выбирая все региональные витрины, вставляйте код и сохраняйте изменения, не забывая при этом заменять в строчке "Sitemap: https://{storefront_url}/sitemap.xml" фрагмент "{storefront_url}" на домен вашей региональной витрины (пример: "Sitemap: https://spb.test.ru/sitemap.xml").
- Обязательно проверьте файл robots.txt на региональных витринах после внесения изменений (доступны по адресу https://spb.site.ru/robots.txt, https://ufa.site.ru/robots.txt, https://omsk.site.ru/robots.txt, итд).
Шаблон robots.txt для региональных поддоменов
- #upd 10.08.2023
- #author: @anatoly_chikurov
- User-agent: *
- Disallow: /
- User-agent: Yandex
- ## googleonly pages ##
- ## content pages ##
- Disallow: */blog/
- Disallow: */stati/
- Disallow: */novosti
- Disallow: */seorating/
- Disallow: */rating/
- ## system hidden pages ##
- Disallow: *admin/
- Disallow: *helpdesk/
- Disallow: *cml1c/
- Disallow: */vk/
- Disallow: */turbo/
- Disallow: */logs/
- Disallow: *multiform/
- Disallow: *webasyst/
- Disallow: */test/
- Disallow: */old/
- Disallow: *.html
- Disallow: *.php
- Disallow: *.pdf
- Disallow: */amp/
- ## info and service pages ##
- Disallow: *search
- Disallow: *mailer/
- Disallow: *login/
- Disallow: *signup/
- Disallow: *forgotpassword/
- Disallow: *order/
- Disallow: */cart/
- Disallow: *onestep/
- Disallow: *checkout
- Disallow: */my/
- ## service links ##
- Disallow: *tel:
- Disallow: *skype:
- Disallow: *mailto:
- Disallow: *tg:
- Disallow: *viber:
- ## garbage and dublicates ##
- Disallow: *undefined
- Disallow: *compare/
- Disallow: *?
- Allow: *.*?
- Allow: *config/?
- Allow: *?page=
- Disallow: *?page=*&
- Disallow: *&page=
- Disallow: *?page=1
- Allow: *?page=10
- Allow: *?page=11
- Allow: *?page=12
- Allow: *?page=13
- Allow: *?page=14
- Allow: *?page=15
- Allow: *?page=16
- Allow: *?page=17
- Allow: *?page=18
- Allow: *?page=19
- Disallow: *?page=10*&
- Disallow: *?page=11*&
- Disallow: *?page=12*&
- Disallow: *?page=13*&
- Disallow: *?page=14*&
- Disallow: *?page=15*&
- Disallow: *?page=16*&
- Disallow: *?page=17*&
- Disallow: *?page=18*&
- Disallow: *?page=19*&
- Disallow: *product*/?page=
- ## blog garbage ##
- Disallow: */author/
- Disallow: */2015/
- Disallow: */2016/
- Disallow: */2017/
- Disallow: */2018/
- Disallow: */2019/
- Disallow: */2020/
- Disallow: */2021/
- Disallow: */2022/
- Disallow: */2023/
- Disallow: */2024/
- Disallow: */2025/
- Disallow: */2026/
- Disallow: */2027/
- Disallow: */2028/
- Disallow: */2029/
- Disallow: */2030/
- Disallow: */2031/
- Disallow: */2032/
- Disallow: */2033/
- Disallow: */2034/
- Disallow: */2035/
- Allow: /product/20*/
- Disallow: /product/20*/?
- ## individual rules ##
- Disallow: */tag/
- Disallow: */reviews/
- ## end ##
- Clean-param: from&clid&pclid&promo&utm&utm_referrer&utm_medium&utm_source&utm_campaign&utm_term&utm_content&gclid&openstat&cpc&test&dev&sort&order&tip&tsvet&brend&brand&strana&price_min&price_max&showall&frommarket&nomobile&mobile&crcy&promo_id
- Sitemap: https://{storefront_url}/sitemap.xml