# ================================================================ # robots.txt — РеконХаб (reconhub.ru) # Версия: 1.0 (09.08.2026) # ================================================================ # ================================================================ # 1. ОСНОВНЫЕ ПРАВИЛА ДЛЯ ВСЕХ РОБОТОВ # ================================================================ User-agent: * Allow: / # Запрещаем служебные страницы и папки Disallow: /admin/ Disallow: /private/ Disallow: /tmp/ Disallow: /backup/ Disallow: /logs/ Disallow: /*.json$ Disallow: /*.js$ Disallow: /*.css$ Disallow: /*.jpg$ Disallow: /*.png$ Disallow: /*.svg$ Disallow: /*.ico$ # Запрещаем дубли с параметрами (если появятся в будущем) Disallow: /*?* Disallow: /*&* # Запрещаем страницы с пагинацией (если появятся) Disallow: /*?page= Disallow: /*?p= Disallow: /*?filter= # ================================================================ # 2. ОСОБЫЕ ПРАВИЛА ДЛЯ GOOGLE # ================================================================ User-agent: Googlebot Allow: / Allow: /*.json$ Allow: /*.js$ Allow: /*.css$ Allow: /*.jpg$ Allow: /*.png$ Allow: /*.svg$ Allow: /*.ico$ # Google лучше индексирует CSS и JS, так что разрешаем Disallow: /admin/ Disallow: /private/ # ================================================================ # 3. ОСОБЫЕ ПРАВИЛА ДЛЯ ЯНДЕКСА # ================================================================ User-agent: Yandex Allow: / Allow: /*.json$ Allow: /*.js$ Allow: /*.css$ # Яндекс тоже лучше видит сайт с CSS/JS Disallow: /admin/ Disallow: /private/ # ================================================================ # 4. ПРАВИЛА ДЛЯ ИЗОБРАЖЕНИЙ # ================================================================ User-agent: Googlebot-Image Allow: /*.jpg$ Allow: /*.png$ Allow: /*.gif$ Allow: /*.svg$ Allow: /*.webp$ User-agent: YandexImages Allow: /*.jpg$ Allow: /*.png$ Allow: /*.gif$ Allow: /*.svg$ Allow: /*.webp$ # ================================================================ # 5. ЗАДЕРЖКА МЕЖДУ ЗАПРОСАМИ (чтобы не нагружать сервер) # ================================================================ Crawl-delay: 1 # ================================================================ # 6. КАРТА САЙТА # ================================================================ Sitemap: https://reconhub.ru/sitemap.xml # ================================================================ # 7. ДОПОЛНИТЕЛЬНЫЕ НАСТРОЙКИ # ================================================================ # Хост (помогает Яндексу) Host: reconhub.ru # Чистый URL без www (чтобы не было дублей) # Если используете www, раскомментируйте и замените # Host: www.reconhub.ru