Не знаю, які боти ходять на мій сайт і що вони забирають
Аналізуємо логи сервера та налаштування хостингу або CDN (мережі, що роздає сайт з ближніх серверів). Складаємо список ШІ-ботів, які реально заходили, і що вони відкривали.
ШІ-боти читають ваш сайт так, як ви вирішили
Ми перевіряємо, які ШІ-боти заходять на сайт, і налаштовуємо, що їм можна читати, а що ні. Додаємо файл llms.txt (короткий путівник по сайту для мовних моделей) і правимо robots.txt. Так ChatGPT, Perplexity та інші ШІ-системи частіше знаходять ваші сторінки й не чіпають закрите.
Кошторис і строки після брифу
Кому підходить
- Власники сайтів, які хочуть, щоб ШІ-помічники згадували їхній бізнес
- Компанії з закритими розділами: ціни для партнерів, кабінети, чернетки
- Медіа, блоги й експерти, чий контент ШІ може використовувати без дозволу
- Інтернет-магазини, де боти навантажують сервер
Які задачі вирішуємо
Хочу, щоб ШІ мене рекомендував, але боюся віддати весь контент
Розділяємо ботів за призначенням: ті, що збирають дані для навчання моделей, і ті, що шукають відповідь для користувача. Ви вирішуєте, кого пускати, ми прописуємо правила.
Сайт важкий, боти створюють навантаження
Ставимо обмеження частоти запитів і закриваємо службові сторінки. Основний контент лишається доступним.
Чув про llms.txt, але не розумію, чи це потрібно
Пояснюємо чесно: це не стандарт, який гарантовано читають усі системи. Ми робимо його як дешеву й безпечну підказку та не обіцяємо чудес.
Що входить у роботу
- Аудит поточних robots.txt, sitemap і мета-тегів
- Аналіз логів: які ШІ-боти заходять і що відкривають
- Політика доступу: кого пускаємо, кого блокуємо
- Налаштування robots.txt для відомих ШІ-ботів (GPTBot, ClaudeBot, PerplexityBot, Google-Extended та інших)
- Створення llms.txt зі структурою сайту й посиланнями на ключові сторінки
- За потреби llms-full.txt з текстом важливих розділів
- Правила на рівні CDN або сервера для ботів, які ігнорують robots.txt
- Перевірка, що важливі сторінки доступні без складного JavaScript
- Короткий документ для вас: що налаштовано і як це змінити
Оберіть обсяг роботи
Пакет допомагає описати задачу. Кошторис і строки погоджуємо після брифу та уточнення вимог.
01
Старт
Невеликий сайт або лендінг
- Аудит robots.txt і sitemap
- Політика доступу для ШІ-ботів
- Файл llms.txt
- Перевірка після публікації
02
Контроль
Корпоративний сайт або магазин
- Усе зі Старту
- Аналіз логів за доступний період
- Правила на рівні CDN або сервера
- Llms-full.txt для ключових розділів
- Інструкція для вашої команди
03
Під наглядом
Сайти з великим трафіком ботів і чутливим контентом
- Усе з Контролю
- Щомісячний звіт про візити ШІ-ботів
- Оновлення правил під нових ботів
- Зв'язок з ШІ-контентом сайту та структурою сторінок
Як працюємо
Бриф і вимоги
Ви описуєте задачу й поточний процес. Уточнюємо вимоги, обираємо перший етап і готуємо кошторис.
Аудит і логи
Дивимося, що вже налаштовано і які боти заходять. Фіксуємо проблеми.
Політика доступу
Узгоджуємо з вами, що відкрити, а що закрити. Пояснюємо наслідки кожного рішення.
Налаштування
Пишемо robots.txt і llms.txt, додаємо правила на сервері. Спершу перевіряємо на тестовій копії, якщо вона є.
Перевірка й пілот
Ставимо вимірюваний KPI, наприклад кількість візитів потрібних ботів на ключові сторінки. Строки визначаємо після уточнення обсягу й залежностей.
Межі роботи
- Не обіцяємо, що ШІ почне цитувати ваш сайт: так вирішують самі системи
- Не гарантуємо, що кожен бот слухається robots.txt: частина його ігнорує
- Не видаляємо вже зібрані дані з моделей, які навчилися на вашому контенті раніше
Часті питання
Що таке llms.txt?
Це текстовий файл у корені сайту з коротким описом бізнесу та посиланнями на головні сторінки. Він допомагає мовним моделям швидше зрозуміти структуру. Це пропозиція спільноти, а не обов'язковий стандарт.
Чи варто блокувати ШІ-ботів?
Залежить від мети. Якщо хочете, щоб вас знаходили через ШІ-пошук, пошукових ботів краще пускати. Ботів для навчання моделей можна закрити, якщо контент є вашим головним активом. Ми допоможемо зважити.
Чи вплине це на Google-позиції?
Звичайні пошукові боти Google не зачіпаємо. Окремо налаштовуємо Google-Extended, який стосується ШІ-продуктів Google. Перед змінами показуємо, що саме правимо.
Чи потрібен доступ до сервера?
Для базового налаштування достатньо доступу до файлів сайту або CMS. Для аналізу логів і правил на CDN потрібен ще доступ до хостингу чи CDN. Це може бути обмежений доступ тільки на час робіт.
Як ви виміряєте результат?
Домовляємося про KPI до старту: наприклад, візити потрібних ШІ-ботів на ключові сторінки або зменшення зайвих запитів. Дані беремо з логів або аналітики. Ви бачите їх самі.
Скільки це коштує?
Кошторис готуємо після брифу й уточнення вимог. Для першого етапу можемо взяти такий обсяг: аудит robots.txt і sitemap; Політика доступу для ШІ-ботів. Склад робіт, оплату й строки погоджуємо до старту.
Почнемо з вашої задачі
Опишіть бізнес, бажаний результат і поточний процес. Після брифу уточнимо вимоги та підготуємо кошторис.