Ми не можемо вставляти договори й клієнтські дані в ChatGPT
Модель працює на сервері, який контролюєте ви. Запити й документи не залишають вашу інфраструктуру, а зовнішніх API ми не підключаємо.
Приватна ШІ-модель на вашому сервері: відповіді з ваших документів, дані лишаються у вас
Ми розгортаємо мовну модель (LLM) на вашому або орендованому виділеному сервері й підключаємо її до ваших документів. Договори, медкартки, фінзвіти чи код не потрапляють до зовнішніх сервісів.
Кошторис і строки після брифу
Кому підходить
- Юридичні, медичні та фінансові компанії, які не можуть віддавати документи стороннім сервісам
- Компанії з внутрішньою базою знань, договорами, регламентами та технічною документацією
- Розробницькі команди, які хочуть ШІ-помічника по власному коду без витоку в хмару
- Бізнеси в ЄС і Великій Британії, яким потрібно зберігати дані в межах GDPR і власної інфраструктури
Які задачі вирішуємо
Співробітники все одно користуються публічними чатботами потай
Даємо їм зручний внутрішній чат із доступом до ваших документів. Коли є свій інструмент, потреба в чужому зникає.
Корпоративні ШІ-рішення з Європи й США коштують як невеликий відділ
Ми працюємо з відкритими моделями й готовим стеком, тому ціна нижча за класичну агенцію. Кошторис готуємо після брифу.
Незрозуміло, чи дасть це користь, чи лише дорогу іграшку
Починаємо з пілоту на одному сценарії та одній метриці, наприклад час пошуку відповіді в документах. Рішення про масштаб ухвалюєте після результатів.
Що входить у роботу
- Розбір задачі й даних: що модель має знати, хто має доступ, які є обмеження за законом
- Підбір відкритої моделі (Llama, Mistral, Gemma та інші) під вашу мову, задачу й бюджет заліза
- Розрахунок сервера: скільки відеопам'яті GPU (відеокарти для обчислень) потрібно і що вигідніше, купити чи орендувати виділений сервер
- Розгортання моделі через vLLM або Ollama в Docker з доступом лише з вашої мережі
- RAG (пошук по ваших документах: модель спочатку знаходить уривки, потім відповідає з посиланням на джерело)
- Обробка документів: PDF, Word, таблиці, сканові копії з розпізнаванням тексту, векторна база Qdrant або pgvector
- Веб-інтерфейс чату (наприклад Open WebUI) із входом по логінах і розмежуванням прав доступу
- Тестовий набір із ваших реальних запитань, за яким міряємо якість відповідей
- Інструкція для адміністратора, передача всіх доступів і файлів вам
- Підключення до ШІ-агентів, CRM чи робочих процесів, якщо це потрібно
Оберіть обсяг роботи
Пакет допомагає описати задачу. Кошторис і строки погоджуємо після брифу та уточнення вимог.
01
Пілот
Хто хоче перевірити ідею на одному сценарії, наприклад пошук по внутрішніх документах
- Одна модель із вашого списку, розгорнута на одному сервері
- RAG на одному наборі документів (до кількох сотень файлів)
- Веб-чат для невеликої групи користувачів
- Тестовий набір запитань і звіт про якість
- Передача доступів
02
Робочий запуск
Компанії, де модель вже потрібна всій команді або відділу
- Кілька джерел даних: диск, пошта, CRM, база знань
- Ролі й права доступу, журнал запитів
- Квантизація (стиснення моделі, щоб вона працювала швидше на меншому залізі) і налаштування швидкості
- Інтеграція з вашою CRM або месенджером
- Навчання співробітників і документація
03
Донавчання й агенти
Компанії зі специфічною мовою галузі та великим масивом якісних даних
- Донавчання моделі (fine-tuning) на ваших підготовлених прикладах
- Кілька ШІ-агентів, які виконують дії: готують чернетки, заповнюють поля, ставлять задачі
- Оцінка якості до й після донавчання
- Резервування та план оновлення моделі
- Підготовка до внутрішнього аудиту безпеки
Як працюємо
Бриф і вимоги
Ви описуєте задачу й поточний процес. Уточнюємо вимоги, обираємо перший етап і готуємо кошторис.
Пілот із метрикою
Разом обираємо один сценарій і вимірювану ціль: наприклад, скільки хвилин іде на пошук відповіді в регламентах. Фіксуємо стартове значення.
Сервер і модель
Підбираємо залізо, розгортаємо модель і підключаємо документи. Усі акаунти й сервер оформлені на вас за погодженими умовами.
Перевірка якості
Ганяємо модель на ваших реальних запитаннях, виправляємо розбиття документів, підказки й пошук. Показуємо слабкі місця відкрито.
Передача й підтримка
Навчаємо адміністратора, віддаємо інструкції та доступи. Далі можна лишити підтримку за нами або вести самим.
Межі роботи
- Не обіцяємо рівень найбільших хмарних моделей: відкриті моделі на одному сервері простіші, особливо в складних міркуваннях
- Не гарантуємо відсутність помилок: модель може вигадувати, тому відповіді подаємо з посиланнями на джерела, а критичні рішення лишаються за людиною
- Не входить вартість сервера й відеокарт: це окремий рахунок, який ми порахуємо наперед, а обладнання буде вашим
Часті питання
Чи справді дані не залишають наш сервер?
Так, якщо модель працює на вашому сервері без зовнішніх API. Ми закриваємо доступ ззовні, вимикаємо збір телеметрії там, де це можливо, і описуємо схему потоків даних. Якщо потрібен аудит, можемо підготувати документ для вашої безпеки.
Яке залізо потрібне?
Залежить від моделі. Невеликі моделі працюють на одній відеокарті з 24 ГБ пам'яті, більші потребують кількох або серверних карт. Після брифу ми порахуємо варіанти: купівля, оренда виділеного сервера або сервер у вашій дата-зоні.
Чим приватна модель гірша за ChatGPT?
Для пошуку по документах, підсумків, чернеток і класифікації відкриті моделі часто достатні. Для складних міркувань чи рідкісних мов великі хмарні моделі зазвичай сильніші. Ми покажемо різницю на ваших запитаннях до початку масштабування.
Чи треба донавчати модель?
Зазвичай ні. У більшості задач вистачає RAG: модель бере відповідь із ваших документів. Донавчання має сенс, коли потрібен особливий стиль чи вузька термінологія, і коли є сотні якісних прикладів.
Що ми маємо надати?
Доступ до документів і людину, яка знає, що в них правильно. Також потрібен адміністратор або контакт в IT для сервера та мережі. Чим чистіші документи, тим кращі відповіді.
Скільки це коштує реально?
Кошторис готуємо після брифу й уточнення вимог. Для першого етапу можемо взяти такий обсяг: одна модель із вашого списку, розгорнута на одному сервері; RAG на одному наборі документів (до кількох сотень файлів). Склад робіт, оплату й строки погоджуємо до старту.
Почнемо з вашої задачі
Опишіть бізнес, бажаний результат і поточний процес. Після брифу уточнимо вимоги та підготуємо кошторис.