Архитектура On-Premise RAG: развертывание корпоративного ИИ на собственных серверах без утечки данных

Среда, 16:45. В кабинете директора по информационной безопасности крупного производственного холдинга разгорается жаркая дискуссия. Руководитель конструкторского бюро предлагает подключить облачный чат-бот для ускорения работы инженеров с многотысячным архивом заводских чертежей, ГОСТов и технологических карт. Безопасник блокирует инициативу служебной запиской с цитатами из пользовательского соглашения публичного сервиса.

Любой документ, отправленный в публичное облако через внешний API, переходит на сторонние серверы за пределами юрисдикции Российской Федерации. Риск компрометации закрытых патентов, сметных расчетов и условий дилерских контрактов перечеркивает любые выгоды от внедрения. Возникает тупик: бизнесу критически необходим интеллектуальный поиск по внутренним базам знаний, но закон о защите персональных данных и корпоративные стандарты безопасности запрещают отдавать данные наружу. Единственным технически зрелым выходом является построение изолированного On-Premise контура генеративного ИИ на базе архитектуры RAG.

Инженерная дилемма: почему облачные LLM неприменимы в закрытом B2B-контуре.

Попытка использовать публичные языковые модели в корпоративном сегменте неизбежно сталкивается с жесткими регуляторными и технологическими ограничениями. Проблема выходит далеко за рамки формального соблюдения требований 152-ФЗ.

Службы безопасности и архитекторы корпоративных систем выделяют четыре критических фактора риска:

• Прямая утечка коммерческой тайны. Тексты договоров, номенклатурные спецификации и себестоимость продукции сохраняются в облачных логах третьих лиц.
• Непредсказуемые галлюцинации моделей. Универсальные нейросети уверенно выдумывают несуществующие пункты регламентов или искажают числовые допуски в чертежах.
• Зависимость от внешних каналов связи. Блокировка зарубежных сервисов или обрыв магистрального интернет-кабеля мгновенно парализует внутренние бизнес-процессы компании.
• Неконтролируемая стоимость вызовов API. При индексации корпоративного архива объемом в миллионы страниц плата за облачные токены превышает бюджет покупки собственного серверного кластера.

Локальный контур на базе открытых нейросетевых моделей полностью снимает эти риски, гарантируя физическое нахождение данных внутри периметра компании.

Верхнеуровневая архитектура: пятиуровневый конвейер корпоративного RAG.

Технология RAG (Retrieval-Augmented Generation) разделяет процесс генерации ответа на два независимых этапа: поиск релевантных фактов в локальной базе знаний и передачу найденного контекста языковой модели. Это исключает фантазии нейросети и привязывает каждый ответ к реальным внутренним документам.

Каждый слой функционирует как независимый микросервис, что позволяет гибко масштабировать вычислительные ресурсы при росте объема базы знаний.

Слой сбора и нормализации документов: семантический чанкинг без потери контекста.

Главная причина неточных ответов корпоративных ассистентов кроется не в слабости нейросети, а в некачественной подготовке исходного текста. Простое механическое разбиение текста на фрагменты по пятьсот символов разрушает таблицы и разрывает связанные предложения.

Индивидуально спроектированный пайплайн обработки документов использует алгоритмы адаптивного семантического чанкинга (Semantic Chunking). Система последовательно выполняет нормализацию:

1. Парсинг сложной верстки. Модуль извлечения распознает иерархию заголовков H1–H4, нумерованные списки и колонтитулы в файлах PDF, DOCX и XLSX.
2. Линеаризация таблиц. Сложные финансовые и технические таблицы преобразуются в структурированный формат Markdown с сохранением связей между заголовками столбцов и значениями ячеек.
3. Определение границ смысловых блоков. Текст делится по границам логических разделов, сохраняя контекст параграфа целиком.
4. Обогащение метаданными. К каждому фрагменту прикрепляются атрибуты: номер версии документа, дата утверждения, автор и уровень конфиденциальности.

На тестовом архиве из 100 000 страниц технической документации многопоточный пайплайн на 16 ядрах CPU выполняет полный парсинг и очистку за 42 минуты. В результате формируется 430 000 нормализованных смысловых блоков средней длиной 280 токенов с сохранением 100% табличных связей.

Векторизация и хранилище признаков: pgvector против специализированных СУБД.

Для быстрого сопоставления пользовательских вопросов с базой документов фрагменты текста преобразуются в математические векторы (эмбеддинги) через компактные специализированные модели. Выбор хранилища векторов зависит от масштаба архива компании.

Для баз знаний объемом до ста тысяч документов оптимально подходит расширение pgvector для реляционной СУБД PostgreSQL. Оно позволяет хранить векторные индексы HNSW рядом с учетными данными компании в единой транзакционной среде. При масштабировании корпоративного архива до миллионов страниц в архитектуру внедряется специализированная векторная база данных Qdrant, обеспечивающая поиск по миллионным массивам менее чем за пятнадцать миллисекунд.

При настройке индекса HNSW с параметрами M=16 и ef_construction=128 время поиска в Qdrant составляет всего 12–14 миллисекунд на миллион векторов. Индекс размерностью 1024 float32 требует всего 4,2 ГБ оперативной памяти.

Гибридный поиск: объединение плотных векторов Dense Retrieval и алгоритма BM25.

Один только векторный поиск часто ошибается при работе с точными техническими запросами. Если пользователь ищет конкретный артикул кабеля или точный номер ГОСТа, семантическая модель может предложить близкий по смыслу, но неверный по номенклатуре документ.

Для исключения таких ошибок контур RAG использует гибридный поиск (Hybrid Search):

• Векторный поиск (Dense Retrieval): находит фрагменты, совпадающие по общему смыслу и семантике, даже если использованы разные синонимы.
• Лексический поиск (Sparse Retrieval / BM25): обеспечивает строгое совпадение по точным ключевым словам, шифрам изделий и номерам приказов.
• Алгоритм реципрокного слияния (RRF): объединяет результаты обоих методов, вычисляя итоговый сбалансированный ранжирующий балл.

Гибридный подход гарантирует высокую точность выдачи как для общих концептуальных вопросов, так и для поиска по узким техническим обозначениям.

Слой переранжирования (Reranking): фильтрация шума и точный контекст для LLM.

Даже после гибридного поиска в выборку кандидатов могут попасть внешне похожие, но фактически нерелевантные фрагменты текста. Отправка лишней информации в языковую модель засоряет контекстное окно и провоцирует галлюцинации.

Специализированная модель переранжирования (Cross-Encoder Reranker) попарно сравнивает исходный вопрос пользователя с каждым из отобранных фрагментов. Реранкер глубоко оценивает смысловую взаимосвязь и отбирает строго top-3 наиболее релевантных абзаца. Это сокращает потребление видеопамяти графических ускорителей и повышает точность итогового ответа до девяноста девяти процентов.

Время работы кросс-энкодера BGE-Reranker-Large для пакета из 25 кандидатов на GPU составляет до 35 миллисекунд. Модуль отсекает до 88% информационного шума перед подачей контекста в модель.

Инференс локальных моделей: квантование, vLLM и серверный сайзинг GPU.

Современные открытые языковые модели (Qwen 2.5, Llama 3, DeepSeek) демонстрируют качество рассуждений на уровне коммерческих облачных аналогов. Однако для их работы в многопользовательском режиме требуется грамотная оптимизация инференса.

Для локального развертывания применяется высокопроизводительный движок vLLM с поддержкой механизма PagedAttention. Алгоритм эффективно управляет видеопамятью GPU, исключая фрагментацию при параллельной генерации ответов для десятков сотрудников. Использование методов квантования весов (AWQ, GPTQ) позволяет запускать мощные модели с семьюдесятью миллиардами параметров на доступных серверных ускорителях без потери точности логических выводов.

Для модели Qwen 2.5 72B в формате AWQ веса занимают 36 ГБ VRAM. Буфер KV-кэша для окна в 8192 токенов при 16 параллельных сессиях требует еще 18 ГБ. Таким образом, одного ускорителя с 80 ГБ HBM2e памяти полностью достаточно для компании из 250 сотрудников при средней скорости генерации 45 токенов в секунду.

Экономическая модель TCO: расчет окупаемости On-Premise кластера против облака.

Покупка серверного оборудования для локального искусственного интеллекта часто воспринимается как крупная единовременная инвестиция. Однако при регулярной эксплуатации в среднем и крупном бизнесе собственная инфраструктура окупается кратно быстрее облачных подписок.

Сравним расходы для отдела из 80 сотрудников при 4000 обращений в день со средним контекстом 3000 токенов на запрос:

Экономический расчет наглядно доказывает: локальный сервер не только устраняет юридические риски компрометации коммерческой тайны, но и превращается в высокорентабельный актив предприятия с предсказуемой стоимостью владения.

Защита от галлюцинаций и атрибуция ответов: строгие ссылки на первоисточники.

Ключевое требование бизнеса к корпоративному ассистенту — проверяемость каждого утверждения. В отличие от развлекательных ботов, рабочий инструмент не имеет права выдавать непроверенные сведения.

В системный промпт локальной модели закладываются жесткие правила аргументации. Модели запрещено использовать внешние предположения при отсутствии фактов в предоставленном контексте. Каждый сгенерированный тезис сопровождается прямой интерактивной ссылкой на название внутреннего документа, номер редакции и конкретную страницу первоисточника. Сотрудник может в один клик открыть исходный PDF-файл и верифицировать информацию.

Разграничение прав доступа: ролевая модель RBAC на уровне отдельных параграфов.

В любой компании существует строгая градация конфиденциальности: рядовой стажер не должен видеть зарплатные ведомости, а менеджер по продажам — технологические секреты производства. RAG-система обязана учитывать права доступа к информации.

Ролевая модель доступа (Role-Based Access Control) интегрируется непосредственно в слой векторного поиска. При авторизации пользователя через корпоративный каталог Active Directory или LDAP к поисковому запросу автоматически добавляется фильтр по группам безопасности. Нейросеть физически не получает в контекст документы, к которым у запрашивающего сотрудника нет подтвержденных прав доступа.

Интеграция с корпоративным ландшафтом: коннекторы к 1С:ERP, почте и мессенджерам.

Локальный RAG-ассистент приносит максимальную пользу, когда органично встроен в повседневные рабочие инструменты сотрудников. Кастомный программный шлюз обеспечивает подключение ко всей IT-инфраструктуре компании.

Инженеры настраивают коннекторы к корпоративным мессенджерам (Telegram, Mattermost), интранет-порталам и базам 1С:ERP. Сотрудник склада может прямо в диалоге с ботом запросить статус отгрузки или правила приемки бракованного товара, а система за секунды извлечет данные из учетных регистров и регламентов предприятия.

Аппаратный фундамент: серверные платформы и графические ускорители AFOX.SU.

Для стабильной работы локального искусственного интеллекта требуется надежная аппаратная база с достаточным объемом быстрой видеопамяти и накопителями корпоративного класса. Команда AFOX.SU поставляет серверные платформы и компоненты для On-Premise контуров ИИ с официальным закрытием всеми сопроводительными документами.

Графический процессор NVIDIA Tesla A100 80GB — вычислительное ядро корпоративного ИИ

Высокопроизводительный серверный ускоритель NVIDIA Tesla A100 80GB с колоссальной пропускной способностью памяти HBM2e до 2 ТБ/с. Обеспечивает параллельный инференс тяжелых языковых моделей и мгновенную генерацию ответов для сотен одновременных пользователей.

Накопитель SSD MSI U.2 7.68TB Enterprise NVMe — мгновенный доступ к векторной базе

Корпоративный накопитель MSI 2.5" U.2 7680GB Enterprise NVMe со скоростью произвольного чтения до 800 000 IOPS и защитой от потери питания PLP (подробнее о преимуществах стандарта читайте в нашем сравнении серверных U.2 против десктопных M.2 SSD). Гарантирует высочайшую скорость работы векторных индексов Qdrant и pgvector без деградации производительности.

Серверный блок питания ACD CR0800 CRPS 800W — отказоустойчивое питание серверов ИИ

Модуль питания ACD CR0800 CRPS 800W стандарта 80 PLUS Platinum обладает КПД 94%. Модуль обеспечивает стабильное электропитание серверного шасси с графическими процессорами под пиковыми нагрузками 24/7.

Роутер Keenetic Netcraze Viva NC-1913 — аппаратная изоляция контура нейросети

Гигабитный интернет-центр Keenetic Netcraze Viva оснащен аппаратным экраном SPI и поддержкой туннелей IPsec и WireGuard. Маршрутизатор надежно изолирует локальный сервер искусственного интеллекта от внешнего несанкционированного доступа.

Заказная разработка под ключ: как инженерная команда AFOX.SU внедряет локальный ИИ.

Самостоятельная попытка развернуть открытую нейросеть силами штатных системных администраторов часто заканчивается медленной генерацией ответов и неконтролируемыми ошибками логики. Команда инженеров AFOX.SU реализует комплексные проекты создания корпоративных RAG-систем под ключ.

Мы берем на себя все этапы внедрения интеллектуального контура:

• Аудит документов и процессов. Анализируем структуру корпоративных хранилищ, оцениваем качество сканов, каталогизируем регламенты и определяем сценарии применения ИИ.
• Проектирование архитектуры RAG. Разрабатываем индивидуальный пайплайн семантического чанкинга, подбираем оптимальные эмбеддинг-модели и настраиваем гибридный поиск.
• Подбор и поставка серверного железа. Комплектуем серверы графическими ускорителями, накопителями U.2 и сетевыми экранами из каталога AFOX.SU с оформлением всех сопроводительнымх документов.
• Тонкая настройка инференса. Квантуем модели, оптимизируем распределение весов в vLLM и интегрируем ассистента с учетными базами 1С:ERP и мессенджерами.
• Обучение сотрудников и пилотный запуск. Проводим практические тренинги для ключевых пользователей и калибруем релевантность ответов на реальных рабочих кейсах.

Инженерный аудит и этапы сопровождения: от пилота до круглосуточного SLA.

Корпоративная база знаний непрерывно обновляется: добавляются новые приказы, меняются ГОСТы и стандарты номенклатуры. Инженерное сопровождение AFOX.SU гарантирует актуальность и высокую производительность решения.

Мы предоставляем гибкие форматы сервисной поддержки (SLA):

1. Автоматическая переиндексация базы знаний. Настройка фоновых сервисов для отслеживания изменений в файловых хранилищах и инкрементального обновления векторов.
2. Мониторинг задержек и нагрузки на GPU. Круглосуточный контроль времени отклика генерации ответов и балансировка потоков пользователей через Prometheus и Grafana.
3. Регулярное обновление версий моделей. Тестирование и бесшовный переход на более совершенные релизы открытых нейросетей без остановки сервиса.
4. Анализ журнала вопросов и дообучение. Анализ запросов сотрудников, выявление белых пятен в корпоративной документации и калибровка реранкеров.

Если перед вашей организацией стоит задача кратно повысить скорость поиска инженерных и управленческих данных, исключив риски утечки коммерческой тайны — обратитесь к инженерам AFOX.SU для проведения предпроектного аудита.

AFOX.SU — поставка с официальным закрытием всех сопроводительных документов.