# ============================================
# ROBOTS.TXT — Стоп-Приказ
# Исправлено: добавлены запреты для служебных PHP-файлов
# ============================================

# Общие правила для всех ботов
User-agent: *
Allow: /
Allow: /privacy.html
Allow: /terms.html
Allow: /soglasie.html

# ========== ИСПРАВЛЕНИЕ: Запрет служебных файлов и директорий ==========
Disallow: /config/
Disallow: /uploads/
Disallow: /tmp/
Disallow: /logs/
Disallow: /*.php$  # Запрет всех PHP-файлов в корне
Disallow: /send-ajax.php
Disallow: /send-file-bg.php
Disallow: /thank-you.php
Disallow: /smoke-test.php
# ========== КОНЕЦ ИСПРАВЛЕНИЯ ==========

# Карта сайта
Sitemap: https://стоп-приказ.рф/sitemap.xml

# ============================================
# СПЕЦИФИЧЕСКИЕ НАСТРОЙКИ ПО БОТАМ
# ============================================

# ========== ИСПРАВЛЕНИЕ: Яндекс — очистка всех UTM-меток ==========
User-agent: Yandex
Allow: /
Allow: /privacy.html
Allow: /terms.html
Allow: /soglasie.html

Disallow: /config/
Disallow: /uploads/
Disallow: /tmp/
Disallow: /logs/
Disallow: /*.php$
Disallow: /send-ajax.php
Disallow: /send-file-bg.php
Disallow: /thank-you.php
Disallow: /smoke-test.php

# Очистка всех возможных UTM-меток и служебных параметров
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_referrer&yclid&_openstat&fbclid&gclid&ymclid&_ga&from&ref&source /
# ========== КОНЕЦ ИСПРАВЛЕНИЯ ==========

# Googlebot — основной бот Google
User-agent: Googlebot
Allow: /
Allow: /privacy.html
Allow: /terms.html
Allow: /soglasie.html

Disallow: /config/
Disallow: /uploads/
Disallow: /tmp/
Disallow: /logs/
Disallow: /*.php$
Disallow: /send-ajax.php
Disallow: /send-file-bg.php
Disallow: /thank-you.php
Disallow: /smoke-test.php

# ========== ИСПРАВЛЕНИЕ: Googlebot-Image — запрет индексации загруженных файлов ==========
User-agent: Googlebot-Image
Disallow: /uploads/
Disallow: /tmp/
# ========== КОНЕЦ ИСПРАВЛЕНИЯ ==========

# ========== ИСПРАВЛЕНИЕ: Googlebot-News — если не публикуем новости ==========
User-agent: Googlebot-News
Disallow: /
# ========== КОНЕЦ ИСПРАВЛЕНИЯ ==========

# ========== ИСПРАВЛЕНИЕ: Mail.Ru / Bing / Yahoo ==========
User-agent: Mail.Ru
Allow: /
Disallow: /config/
Disallow: /uploads/
Disallow: /tmp/
Disallow: /logs/
Disallow: /*.php$
Disallow: /send-ajax.php
Disallow: /send-file-bg.php
Disallow: /thank-you.php
Disallow: /smoke-test.php

User-agent: Bingbot
Allow: /
Disallow: /config/
Disallow: /uploads/
Disallow: /tmp/
Disallow: /logs/
Disallow: /*.php$
Disallow: /send-ajax.php
Disallow: /send-file-bg.php
Disallow: /thank-you.php
Disallow: /smoke-test.php

User-agent: Yahoo! Slurp
Allow: /
Disallow: /config/
Disallow: /uploads/
Disallow: /tmp/
Disallow: /logs/
Disallow: /*.php$
Disallow: /send-ajax.php
Disallow: /send-file-bg.php
Disallow: /thank-you.php
Disallow: /smoke-test.php
# ========== КОНЕЦ ИСПРАВЛЕНИЯ ==========

# ========== ИСПРАВЛЕНИЕ: Bot для проверки скорости (не индексируют) ==========
User-agent: Googlebot
User-agent: Google Page Speed
User-agent: Chrome-Lighthouse
Allow: /
Disallow: /config/
Disallow: /uploads/
Disallow: /tmp/
Disallow: /logs/
Disallow: /*.php$
# ========== КОНЕЦ ИСПРАВЛЕНИЯ ==========

# ========== ИСПРАВЛЕНИЕ: Запрет для плохих ботов (опционально) ==========
User-agent: MJ12bot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: BLEXBot
User-agent: HTTrack
Disallow: /
# ========== КОНЕЦ ИСПРАВЛЕНИЯ ==========