User-agent: *
Allow: /

# Запрещаем индексацию служебных файлов и директорий
Disallow: /api/

# Запрещаем индексацию страницы ошибки 404
Disallow: /404

# Разрешаем индексацию основных страниц
Allow: /$

# Указываем расположение sitemap
Sitemap: https://fantastic-a.ru/sitemap.xml

# Время задержки между запросами (в секундах)
Crawl-delay: 1