# AIANA · https://aiana.ru/
# Файл лежит в корне сайта: https://aiana.ru/robots.txt
#
# Индексирование открыто всем роботам, включая краулеры ИИ-систем
# (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-Web, anthropic-ai,
# PerplexityBot, Google-Extended, Applebot-Extended, Bytespider, PetalBot и др.):
# обучение и цитирование открытой части разрешены, ссылка на первоисточник
# в ответах ассистентов работает на узнаваемость AIANA.
# Для них же рядом лежит машиночитаемая версия: /llms.txt.
#
# Отдельных секций на каждого робота больше нет — и это осознанно.
# Именованная секция User-agent полностью отменяет для этого робота секцию
# User-agent: *, поэтому блоки вида «User-agent: GPTBot / Allow: /» выводили
# перечисленных краулеров из-под служебных запретов ниже. Правило для всех
# одно и то же, поэтому одной секции достаточно.
#
# Закрытые материалы (полная версия исследования, реестр компаний, датасеты,
# сегментные выпуски, платформа) на сайте не публикуются: они передаются
# по договору. Запрещать их здесь нечего — публичного адреса у них нет.
# Если закрытый раздел появится на домене, сюда нужно добавить одну строку
# Disallow с его фактическим путём.

User-agent: *
Allow: /
Disallow: /deploy/
Disallow: /*.DS_Store$

Sitemap: https://aiana.ru/sitemap.xml