Короче. Ваш проект имеет смысл, но выбирать и фиксировать под него одну какую-то единственную конкретную нейронку - это очень странная затея. Технологии в этой отрасли каждый день приносят что-то новое, а то, что вы внедрите после пары лет разработки уже год как будет просто в хлам устаревшим. Это при условии, что через два года вы внедрите не то, что актуально вот прямо сейчас. То. что актуально сейчас, уже, считай, устарело.

Да, такие вот издержки околосингулярных нынешних этапов развития цивилизации и технологий.

Но не будем отвлекаться.
Если бы мне кто-то поставил задачу начать такой большой проект (да, именно начать, потому что в ходе разработки там дофига всего вылезет и дофига инструментов будет написано).
Короче, я бы не фокусировался на конкретную нейронку. Я бы делал слоистую архитектуру и настраивал пайплайн по переработке (а фактически индексированию) данных.

Очевидно, что в у пайплайна будет ряд задач:
- структуризация и формализация структуры входных исходных данных.
- разбор (парсинг файлов разных форматов), нарезка на смысловые блоки и формирование связных ссылок между блоками. В результате получим граф блоков с базовой структурой ссылок между ними.
- отдельная часть пайплайна будет детектировать и классифицировать блоки, разбивать их на более детальные (например, формулы, диаграммы, графики).
- отдельная часть пайплайна делает разметку блоков назначая теги, которые будут указывать тип контента, язык, ну и ещё "миллион" других параметров и атрибутов контекста.
- отдельная часть пайплайна будет осуществлять OCR (нет, это не обсессивно компульсивное расстройство).
- отдельный механизм будет отвечать за хранение и кэширование информации о чанках этих данных.
- далее нам надо сделать векторизацию для поиска релевантных кусков данных.
- ну и целый гигантский кусок пайплайна будет отвечать за некоторое подобие RAG.

Надо понимать, что разные данные с разной эффективностью индексируются разными моделями. Заранее вам никто не скажет какая модель и какая нейронка покажет себя лучше. Может быть для чего-то придётся обучать или дообучать свою модель.

Нужно быть готовым к тому, что придётся заменять Эмбеддеры на ходу, держать несколько параллельных индексов. Это значит, что не получится сперва всё написать, а потом одним махом обработать пайплайном весь айсберг имеющихся данных. Вы то и дело будете налетать на ошибки и проблемы, связанные с возрастанием сложности и объёма данных. Будут выходить новые инструменты, механизмы, модели. Ваше решение должно уметь встраивать на абстрактных уровнях новые инструменты, заменять какие-то слои.

При этом должна быть реализована внутренняя система зависимостей. Если вы замените эмбеддер для индексации формул, то не нужно парсить и переиндексировать вообще весь объём данных. У вас уже есть БД с чанками формул, есть окрестный контекст для каждой формулы, вам нужно подать в эмбеддер только нужное.

Возможно понадобится делать какие-то промежуточные слои данных резюмирующие главы и блоки информации из книг, нормативных справочников и документов. При изменении пайплайна необходимо переобрабатывать только те куски данных, которые затронули сделанные изменения пайплайна, иначе ваш проект будет перезапускаться при каждой правке, и вы никогда не завершите работу.

Очевидно, что вся ваша глыба данных имеет какую-то гранулярность внутри, и её части имеют разную "калорийность", то есть ценность для тех инференсов, которые вы хотите по этим данным делать. Это значит. что не лишено смысла сделать ранжирование материалов на каком-то уровне иерархии структуры вашей библиотеки. Возможно это ранжирование будет пересматриваться со временем, и по мере роста компетенции формирующейся экспертной системы она сама сможет влиять на это ранжирование для более эффективной обработки всего объёма библиотеки.

Короткий ответ: нет какого-то единого инструмента или модели для вашей задачи. Вам придётся интегрировать огромный букет технологий, инструментов, моделей и решений для вашей большой задачи, и долго итеративно настраивать всю это машинерию под вашу специфику. Об универсальных готовых решениях я не слышал, но, возможно при обучении больших генеративных моделей какие-то из перечисленных кусков пайплайна уже где-то реализованы в виде более-менее юзабельных инструментов. Также нужно быть готовым к замене отдельных частей всего этого пайплайна: от эмбеддеров и языковых моделей, то целых кусков конвейеров автоматизации обработки данных. То, что на первый взгляд и на первых этапах кажется достаточным, потом может оказаться дешевым и простым способом улучшить качество за счет переработки или замены этого узла.

Думаю вам следовало бы провести базовую декомпозицию это йогромной задачи, а потом спрашивать уже про инструменты для базовых решений в рамках MVP по конкретным слоям и узлам. К примеру, вы можете использовать N8N для визуального представления потоков данных и узлов пайплайна, но конкретные модели и эмбеддеры можно будет заменять в ходе разработки, или дублировать применяя несколько параллельных подходов, а потом выбирать динамически лучшие результаты.

Оговорюсь, что я не специалист в этой теме, и тоже с удовольствием бы увидел ссылки на какие-то готовые попытки решать такие задачи. Просто хотел немного прояснить ситуацию. так, для эрудиции и общего развития.

📈 К концу 2001-го она собрала 18 тысяч статей и доказала: любой человек может редактировать знания.

🧠 Сегодня Википедия — 6 миллионов статей на английском, 20 миллионов страниц суммарно и главный источник информации для ИИ-моделей вроде ChatGPT.

====================================
👇👇Наш канал на других площадках👇👇
YouTube | VkVideo | Telegram
====================================

Художник В. Хвостенко.
Москва.
Издательство: РОСТА.
Год издания: 1920 (декабрь).