Бот іноді вигадує факти, і я не знаю, як часто.
Збираємо тестовий набір із ваших реальних запитів і міряємо частку хибних відповідей. Ви отримуєте звіт із прикладами помилок.
ШІ, який відповідає правильно, а не просто впевнено
Ми вимірюємо, як часто ваш ШІ помиляється, і виправляємо це: тестові набори, оцінка відповідей, обмежувачі й, коли треба, донавчання. Ви бачите цифри на своїх даних, а не загальні обіцянки.
Кошторис і строки після брифу
Кому підходить
- Компанії, які вже мають ШІ-чатбот чи ШІ-агента й не певні в його відповідях
- Команди, що збираються запускати ШІ для клієнтів і бояться помилок
- Бізнес, де помилка коштує дорого: медицина, фінанси, юридичні питання, гарантії
- Власники, які змінюють модель або промпт і хочуть знати, чи стало краще
Які задачі вирішуємо
Після зміни промпту чи моделі все могло зламатися.
Налаштовуємо автоматичні перевірки (регресійні тести: однакові запити до і після змін). Нова версія виходить лише якщо не гірша за стару.
Бот обіцяє знижки, знає зайве або відповідає не на тему.
Ставимо обмежувачі (guardrails — правила, що блокують небажані відповіді): перелік тем, перевірка цін, фільтр персональних даних, передача людині.
Не зрозуміло, чи потрібне донавчання, чи вистачить кращого промпту.
Спершу пробуємо дешевші способи: промпт, пошук по базі знань, приклади. Донавчання пропонуємо, лише якщо цифри показують, що без нього не обійтись.
Що входить у роботу
- Розбір ваших сценаріїв і списку недопустимих відповідей
- Тестовий набір із реальних запитів (діалоги, пошта, чат) без персональних даних
- Критерії оцінки: точність, тон, повнота, відмови там, де треба
- Оцінка відповідей ШІ-суддею (інша модель перевіряє за критеріями) із вибірковою ручною перевіркою
- Перевірка на ін'єкції в промпт і спроби обійти правила
- Обмежувачі: теми, формат, ціни, персональні дані, передача людині
- Автоматичні регресійні тести для кожної зміни
- Донавчання (fine-tuning) невеликої моделі на ваших прикладах, якщо воно виправдане
- Звіт із цифрами та планом виправлень
- Передача тестів і скриптів у ваш репозиторій
Оберіть обсяг роботи
Пакет допомагає описати задачу. Кошторис і строки погоджуємо після брифу та уточнення вимог.
01
Аудит відповідей
Є готовий бот, потрібна об'єктивна оцінка
- Тестовий набір до 100 запитів
- Критерії й ШІ-суддя
- Ручна перевірка вибірки
- Звіт з помилками та планом виправлень
02
Оцінка й обмежувачі
Бот працює з клієнтами, треба знизити ризики
- Тестовий набір до 300 запитів
- Перевірка на обхід правил
- Обмежувачі й передача людині
- Автоматичні регресійні тести
- Повторне вимірювання після правок
03
Донавчання моделі
Промпту й бази знань мало, потрібен стабільний стиль чи формат
- Підготовка й очищення навчальних прикладів
- Донавчання та порівняння з базовою моделлю
- Оцінка на окремому наборі, який модель не бачила
- Інструкція для оновлення
Як працюємо
Бриф і вимоги
Ви описуєте задачу й поточний процес. Уточнюємо вимоги, обираємо перший етап і готуємо кошторис.
Тестовий набір
Збираємо запити з ваших даних і прибираємо персональну інформацію. Ви затверджуєте набір.
Базове вимірювання
Проганяємо бота через тести й фіксуємо KPI-старт: частка правильних відповідей і типи помилок.
Виправлення
Правимо промпт, базу знань, ставимо обмежувачі. За потреби готуємо донавчання.
Повторне вимірювання й передача
Порівнюємо з початком, передаємо тести й доступи. Оплата йде етапами.
Межі роботи
- Не обіцяємо нуль помилок: ШІ відповідає ймовірнісно, ми знижуємо ризик і показуємо його в цифрах
- Не донавчаємо модель без потреби: часто дешевше й краще виправити промпт чи базу знань
- Не працюємо без ваших даних: потрібні реальні запити й правильні відповіді від ваших фахівців
Часті питання
Що мені потрібно надати?
Доступ до бота або його опис, приклади реальних діалогів і хоча б кілька десятків еталонних відповідей від ваших спеціалістів. Персональні дані ми прибираємо до початку роботи.
Як ви вимірюєте якість?
За критеріями, які ми погоджуємо з вами: точність, повнота, тон, правильні відмови. Відповіді оцінює ШІ-суддя, а частину перевіряє людина, щоб суддя не помилявся.
Коли потрібне донавчання?
Коли потрібен стабільний формат чи стиль, а промпт і пошук по базі знань не дають результату. Для нових фактів донавчання зазвичай не підходить: їх краще підключати через базу знань.
Ви працюєте з моделями OpenAI, Anthropic, Google?
Так, і з відкритими моделями. Яку обрати, залежить від задачі, вимог до даних і бюджету. Донавчання доступне не в усіх моделей і має свої обмеження.
Чи безпечні наші дані?
Обробку даних узгоджуємо наперед. Усі акаунти, тестові набори й файли належать вам за погодженими умовами. Конфіденційні дані можна замінити синтетичними прикладами.
Що буде, якщо KPI не досягнуто?
Пілот має вимірюваний KPI, який ми фіксуємо до старту. Якщо цифри не покращились, ви бачите причини й вирішуєте, чи продовжувати. Платите за етапами, тож ризик обмежений.
Почнемо з вашої задачі
Опишіть бізнес, бажаний результат і поточний процес. Після брифу уточнимо вимоги та підготуємо кошторис.