Разработка генеративного ИИ
Приложения генеративного ИИ, встроенные в работу ваших команд
Мы создаём ассистентов по базе знаний, инструменты для черновиков и копилоты, которые отвечают по вашим документам и работают там, где этого требуют ваши правила обращения с данными.
Хотите сначала простое объяснение генеративного ИИ? В нашем обзоре генеративного ИИ рассказано, для чего он подходит. На этой странице — что мы создаём для вас и как.
Что мы создаём
RAG-ассистенты по базе знаний
Ответы по вашим политикам, руководствам, тикетам и вики со ссылкой на источник каждого утверждения. Доступ соответствует уже существующим у вас правам.
Генерация контента и документов
Предложения, отчёты, договоры и описания продуктов готовятся по вашим шаблонам и данным, а затем проходят проверку человеком, прежде чем что-либо уйдёт наружу.
Копилоты в существующих приложениях
Панель ассистента в вашей CRM, системе поддержки или внутреннем инструменте, которая готовит черновики, делает резюме и ищет информацию, — без переключения между приложениями.
Обработка документов
Классификация, извлечение данных и резюме входящих документов с оценкой уверенности и очередью на проверку для всего неоднозначного.
Дообучение и хостинг моделей с открытыми весами
Когда модель через API обходится слишком дорого или данные не могут покидать ваш контур, мы дообучаем и размещаем модели с открытыми весами с помощью vLLM или Ollama на вашей инфраструктуре.
Оценка качества и контроль затрат
Тестовые наборы для оценки качества ответов, трассировки OpenTelemetry для задержек и затрат, а также маршрутизация и кэширование, чтобы счёт оставался предсказуемым.
Как устроен ассистент по базе знаний
Качество ответов в основном определяется поиском. Модель важна меньше, чем принято думать.
Загрузка
Подключаем источники, разумно разбиваем документы и сохраняем метаданные: владельца, дату и права доступа.
Поиск
Гибридный поиск по векторному индексу, например NebulaDB, с фильтрацией по тому, что пользователю разрешено видеть.
Ответ
Модель отвечает только на основе найденного и указывает источник. Если ничего релевантного не найдено, она так и говорит.
Измерение
Тестовый набор из реальных вопросов с согласованными ответами, который прогоняется при каждом изменении, плюс отзывы пользователей.
Данные, качество и затраты
Где это работает
API моделей, Amazon Bedrock или Azure AI Foundry либо модели с открытыми весами на ваших собственных серверах. Решение принимаете вы — для каждого сценария.
Ключи и секреты
Ключи API хранятся в вашем хранилище секретов и попадают в приложение через WSL Vault, а не через конфигурационные файлы.
Качество, которое можно проверить
Ответы ссылаются на источники, а результаты тестового набора хранятся в вашем репозитории — любой может запустить их повторно.
Предсказуемые затраты
Учёт затрат по каждому запросу, кэширование и маршрутизация простых запросов на модели меньшего размера. Метод описан в нашей статье о наблюдаемости LLM и контроле затрат.
Читать статью: Предсказуемые затраты
Вопросы о проектах генеративного ИИ
Мы уже пользуемся ChatGPT или Copilot. Зачем что-то разрабатывать?
Универсальные ассистенты не знают ваших документов, прав доступа и процессов. Разработанное приложение отвечает по вашим источникам, соблюдает права доступа, журналирует свои действия и работает внутри инструментов, которыми уже пользуются ваши команды.
Куда попадают наши документы?
Туда, куда разрешают ваши правила обращения с данными. Мы подбираем провайдеров и настройки в соответствии с ними или размещаем модель с открытыми весами, чтобы документы вообще не покидали ваш контур.
Можно ли добавить генеративный ИИ в наш существующий продукт?
Да. Мы реализуем функцию внутри вашей кодовой базы, за вашей системой аутентификации, с тестами и документацией, чтобы ваши инженеры могли её сопровождать.
Как вы понимаете, что ответы верны?
До начала разработки мы согласуем с вами тестовый набор из реальных вопросов и правильных ответов и оцениваем по нему каждое изменение. Ответы, которые нельзя подкрепить источником, отклоняются.
Выберите один сценарий — мы определим объём работ
Черновики, ответы по базе знаний или копилот в существующем приложении. Сообщите, что именно, и какие документы задействованы.