User-Agent: *               # правила для всех роботов
Sitemap: https://seedsmail.ru/sitemap.xml
Host: https://seedsmail.ru
Disallow: /cgi-bin          # папка на хостинге
Disallow: /bitrix/          # папка с системными файлами битрикса
Disallow: *bitrix_*=        # GET-запросы битрикса
Disallow: /local/           # папка с системными файлами битрикса
Disallow: /*index.php$      # дубли страниц index.php
Disallow: /auth/            # авторизация
Disallow: *auth=            # авторизация
Disallow: /personal/        # личный кабинет
Disallow: /service          # служебные
Disallow: /test             # тестовые
Disallow: *register=        # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: *login=           # логин
Disallow: *logout=          # выход
Disallow: */search/         # поиск
Disallow: *action=          # действия
Disallow: *print=           # печать
Disallow: *backurl=         # трекбеки
Disallow: *back_url=        # трекбеки
Disallow: *back_url_admin=  # трекбеки
Disallow: *?FILTER*=        # здесь и ниже различные популярные параметры фильтров
Disallow: */filter
Disallow: /information
Disallow: /konkurs
Disallow: /personal
Disallow: /*?*  #запрещает любые динамические параметры
Allow: /catalog/*?PAGEN_1*
Allow: /catalog/*?sort*
Allow: /blog/*?PAGEN_1*
Allow: */upload/            # открываем папку с файлами uploads
Allow: /bitrix/*.js         # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /bitrix/catalog_export/*   # открываем для индексации фиды
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif

User-Agent: Yandex
Disallow: /cgi-bin
Disallow: /bitrix
Disallow: /local
Disallow: /personal
Disallow: /service         # служебные
Disallow: /test            # тестовые
Disallow: /auth
Disallow: /search
Disallow: */filter
Disallow: *from=
Disallow: *backurl=         # трекбеки
Disallow: *back_url=
#Disallow: /?PAGEN_1=  #запрещает:  https://seedsmail.ru/?PAGEN_1=2  НО разрешает: https://seedsmail.ru/catalog/semena/ovoshhi/?PAGEN_1=2&SIZEN_1=30
Disallow: /*?*  #запрещает любые динамические параметры
Allow: /catalog/*?PAGEN_1*
Allow: /catalog/*?sort*
Allow: /blog/*?PAGEN_1*
#Clean-param: PAGEN_1
Clean-param: SIZEN_1
Clean-param: sort&method
Clean-param: q
Clean-param: ORDER_ID
Clean-param: USER_LOGIN
Clean-param: backurl
Clean-param: f-user-code
Clean-param: login
Clean-param: type
Clean-param: form
Allow: /bitrix/*.js         # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /bitrix/catalog_export/*   # открываем для индексации фиды
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Crawl-delay: 1