Серия «Простыми словами»

Короче. Ваш проект имеет смысл, но выбирать и фиксировать под него одну какую-то единственную конкретную нейронку - это очень странная затея. Технологии в этой отрасли каждый день приносят что-то новое, а то, что вы внедрите после пары лет разработки уже год как будет просто в хлам устаревшим. Это при условии, что через два года вы внедрите не то, что актуально вот прямо сейчас. То. что актуально сейчас, уже, считай, устарело.

Да, такие вот издержки околосингулярных нынешних этапов развития цивилизации и технологий.

Но не будем отвлекаться.
Если бы мне кто-то поставил задачу начать такой большой проект (да, именно начать, потому что в ходе разработки там дофига всего вылезет и дофига инструментов будет написано).
Короче, я бы не фокусировался на конкретную нейронку. Я бы делал слоистую архитектуру и настраивал пайплайн по переработке (а фактически индексированию) данных.

Очевидно, что в у пайплайна будет ряд задач:
- структуризация и формализация структуры входных исходных данных.
- разбор (парсинг файлов разных форматов), нарезка на смысловые блоки и формирование связных ссылок между блоками. В результате получим граф блоков с базовой структурой ссылок между ними.
- отдельная часть пайплайна будет детектировать и классифицировать блоки, разбивать их на более детальные (например, формулы, диаграммы, графики).
- отдельная часть пайплайна делает разметку блоков назначая теги, которые будут указывать тип контента, язык, ну и ещё "миллион" других параметров и атрибутов контекста.
- отдельная часть пайплайна будет осуществлять OCR (нет, это не обсессивно компульсивное расстройство).
- отдельный механизм будет отвечать за хранение и кэширование информации о чанках этих данных.
- далее нам надо сделать векторизацию для поиска релевантных кусков данных.
- ну и целый гигантский кусок пайплайна будет отвечать за некоторое подобие RAG.

Надо понимать, что разные данные с разной эффективностью индексируются разными моделями. Заранее вам никто не скажет какая модель и какая нейронка покажет себя лучше. Может быть для чего-то придётся обучать или дообучать свою модель.

Нужно быть готовым к тому, что придётся заменять Эмбеддеры на ходу, держать несколько параллельных индексов. Это значит, что не получится сперва всё написать, а потом одним махом обработать пайплайном весь айсберг имеющихся данных. Вы то и дело будете налетать на ошибки и проблемы, связанные с возрастанием сложности и объёма данных. Будут выходить новые инструменты, механизмы, модели. Ваше решение должно уметь встраивать на абстрактных уровнях новые инструменты, заменять какие-то слои.

При этом должна быть реализована внутренняя система зависимостей. Если вы замените эмбеддер для индексации формул, то не нужно парсить и переиндексировать вообще весь объём данных. У вас уже есть БД с чанками формул, есть окрестный контекст для каждой формулы, вам нужно подать в эмбеддер только нужное.

Возможно понадобится делать какие-то промежуточные слои данных резюмирующие главы и блоки информации из книг, нормативных справочников и документов. При изменении пайплайна необходимо переобрабатывать только те куски данных, которые затронули сделанные изменения пайплайна, иначе ваш проект будет перезапускаться при каждой правке, и вы никогда не завершите работу.

Очевидно, что вся ваша глыба данных имеет какую-то гранулярность внутри, и её части имеют разную "калорийность", то есть ценность для тех инференсов, которые вы хотите по этим данным делать. Это значит. что не лишено смысла сделать ранжирование материалов на каком-то уровне иерархии структуры вашей библиотеки. Возможно это ранжирование будет пересматриваться со временем, и по мере роста компетенции формирующейся экспертной системы она сама сможет влиять на это ранжирование для более эффективной обработки всего объёма библиотеки.

Короткий ответ: нет какого-то единого инструмента или модели для вашей задачи. Вам придётся интегрировать огромный букет технологий, инструментов, моделей и решений для вашей большой задачи, и долго итеративно настраивать всю это машинерию под вашу специфику. Об универсальных готовых решениях я не слышал, но, возможно при обучении больших генеративных моделей какие-то из перечисленных кусков пайплайна уже где-то реализованы в виде более-менее юзабельных инструментов. Также нужно быть готовым к замене отдельных частей всего этого пайплайна: от эмбеддеров и языковых моделей, то целых кусков конвейеров автоматизации обработки данных. То, что на первый взгляд и на первых этапах кажется достаточным, потом может оказаться дешевым и простым способом улучшить качество за счет переработки или замены этого узла.

Думаю вам следовало бы провести базовую декомпозицию это йогромной задачи, а потом спрашивать уже про инструменты для базовых решений в рамках MVP по конкретным слоям и узлам. К примеру, вы можете использовать N8N для визуального представления потоков данных и узлов пайплайна, но конкретные модели и эмбеддеры можно будет заменять в ходе разработки, или дублировать применяя несколько параллельных подходов, а потом выбирать динамически лучшие результаты.

Оговорюсь, что я не специалист в этой теме, и тоже с удовольствием бы увидел ссылки на какие-то готовые попытки решать такие задачи. Просто хотел немного прояснить ситуацию. так, для эрудиции и общего развития.

Цивилизация создаёт комфортный питательный бульон своим особям, а особи приспосабливаются к нему. Но какой ценой?

Если здоровый человек сядет в инвалидную коляску и перестанет двигаться, то он начнёт жиреть, мышцы будут атрофироваться. Это злоупотребление "протезом" опорно двигательного аппарата. Однако автомобили вместо лошадей, и ещё ранее вместо собственных ног - это тоже своего рода "протез", но он уже дал нам новые бОльшие возможности.

И не все такие "протезы" очевидны на первый взгляд. Человечество прошло в своём становлении много таких этапов, когда был освоен огонь, животноводство, сельское хозяйство, мануфактура, промышленность... Это тоже своего рода "протезы", которые позволили нам лучше питаться более легко усваиваемой пищей, лучше одеваться перенося более низкие температуры. Все эти ступеньки технического прогресса позволяли нам увеличивать численность популяции на планете.

Вот и сейчас ИИ для нас - это когнитивный протез. Как автомобиль упростил перемещение в пространстве, так и он упростит нам работу с информацией. Учеба станет проще, потому что легче искать и перерабатывать в удобоваримый формат огромные объёмы, накопленных человечеством знаний. Порог вхождения в любую специальную область знаний снизился, гораздо больше проектов в том или ином виде каждый из нас может начать и довести до некоторого рода MVP самостоятельно или в малой группе. Раньше чаще всего это было бы немыслимо.

Так какова же реальная цена? Цена простая и очень похожая на цену, которую человечество платит уже давно за все блага технического прогресса. Цена использования когнитивных протезов - это тоже своего рода "ожирение". Да, у нашего когнитивного аппарата тоже есть риск такой вот патологии.

Важно держать баланс при использовании благ цивилизации между "протезом" и инструментом.

Для тех, кто не мог ходить инвалидная коляска хоть и "протез", но по факту это инструмент, расширяющий возможности. Для тех, кто ходить мог, но уселся в коляску, это несет не благо, а деградацию. Не расширение, а сужение возможностей организма.

Нет, я не неолуддит. Я не призываю отказываться от ИИ, автомобилей и технического прогресса. Я не предлагаю лезть на деревья, чтобы наши мышцы вновь становились сильными. Нам просто нужно ставить более амбициозные цели при новых возможностях.

Чаще всего это так и происходит. Человечество постоянно достигает новых вершин в своём прогрессе. Постоянно кто-то что-то придумывает, организует, изобретает, разрабатывает. Постоянно кто-то куда-то летит, плывёт, ныряет... Появляются новые технологии, прогресс не стоит на месте, рождаются новые Эйнштейны, всегда есть кому выдать Нобелевскую премию.

Да, есть нюанс. Средний уровень интеллектуального "ожирения" на планете будет расти. Какие-то "мышцы" у нас (в среднем на масштабе всего человечества) атрофируются, но всегда есть люди, которые постоянно делают чуть больше, чем могли бы чуточку раньше по временной шкале развития нашей цивилизации. И это здорово. Это позволяет нам всем двигаться вперёд.

Так что ТС в оригинальной статье про ошибся в только одном: клавиатура ему не ограничивала IQ, но новый инструмент дал больше возможностей в плане производительности. И это здорово, что очень многие не сидят на месте "жирея" интеллектуально. Кто-то рендерит котиков в нанобанане, а раньше бездумно залипал бы в тикток вместо этого. Кто-то вайбкодит какую-то ерунду на выброс, но раньше он тоже как-нибудь иначе тешил бы свои дофаминовые рецепторы быстрыми информационными "углеводами".

Есть гипотеза, что человечество-таки не потонет в генеративном контенте, что контент этот отстоится и расслоится. Что-то осядет, что-то всплывёт, а в объёме нашей цивилизации будет расти сильная крепкая "рыба", которая когда-то выберется на сушу в космос и дальше.

Поэтому учитывая новые возможности и инструменты давайте использовать их не как протезы, а давайте ставить себе такие амбициозные цели и высокие планки, до которых бы у нас раньше не хватило ресурсов, способностей и времени.

- Такой сотрудник либо реально работает на все деньги, что ему платят, но не больше, и больше не будет.
- Либо от него ждали больше, а на большее он не тянет. Ну например ждали, что он отделом руководить сможет, а он-тугосеря за своими тасками уследить не способен. Взяли на вырост, а вырост не произошел.
- Либо чел пассивный и сильно скромный, а руководство его подавляет полностью, или манипулирует, или умело тянет кота за хвост и кормит завтраками...

А чего же ждать от нового сотрудника?

- Есть конечно вероятность, что толку с него будет даже меньше нынешнего. Но это риски, а без них какой бизнес? Придётся сливать и искать нового, а этого ставить туда, где он более-менее может пользу приносить за свои деньги.
- Есть вероятность, что чел амбициозный, будет расти и принесет после адаптации куда больше пользы, чем нынешний, от которого понятно уже чего ждать. Это ставка на повышение. Даже если несколько месяцев новому сотруднику платят больше, чем он работает на онбординге, через какое-то время инфляция всё уравняет, и новенький превратится в такого же старенького, о котором выше писалось, либо этот будет лучше, и его будут уже индексировать помаленьку для лояльности.

Вообще, все вышеприведённые соображения относятся к хитрожопому руководству, которое имеет талант в своём деле. Безотносительно вопросов нравственности и этики.

В целом-то нельзя сказать, что все сотрудники претендующие на одну должность абсолютно одинаковые по эффективности. Человек - скотинка сложная, а не деталька с парой параметров. На долгосроке сложность ещё масштабируется временем, динамикой. Люди ж выгорают, развиваются или деградируют, оправдывают или не оправдывают ожиданий, а в исходном посте тётенька с декольте довольно поверхностно рассматривает работников, будто они простые автоматы с полной взаимозаменяемостью и без скрытых слоёв. А ещё каждый человек - это "черный ящик". Хрен его знает что от него ждать Может он 5 лет в завязке, но до того бухал и ни с того ни с сего опять сорваться может.

Пусть меня начальники и HR-менеджеры с опытом поправят, если я не прав со своего дивана.

По себе сужу. Да даже если смотреть по проекту. На каком-то проекте я выкладываюсь по полной, а на каком-то что-то мне мешает выкладываться. Какая-то мотивационная яма. И номинально казалось, что проект с ямой мне по идее должен быть более интересен. Сам себе черный ящик в этом плане.

Мудрый руководитель, если контора размером позволяет, умеет найти подход, задачи и мотивационный рычаг для каждого. Но если это прям сложно, то умеет грамотно и вовремя отпустить сотрудника искать свою работу мечты дальше, и даже скандала не будет, потому что все всё понимают. И это мы ещё не затронули аспектов личной совместимости в коллективе по вертикали и горизонтали.

Интересная, кстати, позиция у некоторых контор на счет разглашения зарплаты. У Лебедева, например, есть внутрикорпоративное правило, записанное в договоре о содержании уровня ЗП в секрете. С оной стороны это чем-то неправильным кажется, а с другой трудно утверждать однозначно. Имеет ли право работодатель вводить такие ограничения? Ну в смысле заносить в NDA уровень ЗП.

Если считать, что работники - это простые взаимозаменяемые детальки, которые с момента трудоустройства ни развития никакого не претерпевают, ни потенциала не имеют сверх начального, то кажется, что эти тайны ни к чему. Исключительно хитрожопость руководства.

А если бизнес делает ставку на человека и не желает, чтобы сотрудники как пауки в банке друг друга смущали наступая друг другу на комплексы, то, может быть, ида.

Хорошо, что у меня нет своего бизнеса и сотрудников, чтобы вставать перед такой дилеммой.

Интересно мнение пикабушничества на этот счет. Рискну предположить, что большинство выскажется негативно по поводу занесения ЗП под NDA.

- бесят обгоняльщики, которые лезут на встречку как камикадзе в туман, ночью, в пургу, при плохой видимости, при ограниченной видимости, несмотря на запрещающую разметку и знаки, не смотря на дохлый мотор, который может обеспечить только плюс пару километров в час относительно обгоняемого. Ревёт, пердит, вынуждает встречку хватать обочину, плюёт на всех, лишь бы обогнать.

А в остальном я не из тех, кто бесится на дороге.

Не очень понимаю истеричек, которые бибикают на перекрёстках передним машинам в первую миллисекунду зеленого, а то ещё и до него. Ну куда ты потратишь эту миллисекунду? Может там новичок за рулём, сейчас ты его испугаешь, он (она?) занервничает, заглохнет (ещё больше времени и нервов потеряешь), или метнётся с перепугу и создаст аварийную ситуацию... Зачем так психовать и рисковать? Иногда кажется, что на месте девчушки я бы в таких ситуациях включал аварийку, дёргал ручник, надевал желтую жилетку и шел выяснять не эпилептический ли припадок у заднего, и чем ему помочь.

Не очень понимаю психозов по поводу затупов на дороге. За рулём могут оказаться очень разные люди с разным опытом и стажем. Ну затупил человек и не сориентировался вовремя перестроиться с полосы, где стрелка отдельно направо. Потом через сплошную не полез. Ну не сообразил вовремя поворотник включить... Я, конечно, понимаю, что встречаются мудаки, которым вообще наплевать на всех, но мне кажется такие форменные злодеи довольно редки. Потому что... ну никто же себя мудаком-то считает!

По-хорошему все понимают, что гляди дальше по курсу: где какие полосы, к какому цвету светофора поспеваешь, куда лучше перестроиться, по зеркалам посматривай, чтоб не подрезать никого... Этому всему учат немножко совсем на авто-курсах, и то если инструктор хороший попадётся, а потом учит жизнь и собственная рефлексия по поводу ситуаций на дороге.

Хорошо бы посматривать профильные каналы на ютубе, прорабатывать полезные советы как лучше реагировать на те или иные ситуации, как их предугадывать. Это же всё с опытом приходит, а опытными никто не рождается.

Мне кажется надо друг друга поддерживать в нашем автомобильном сообществе, а не клевать за каждую оплошность и затуп. Ну и, с другой стороны, если накосячил - извинись, прими к сведению, учись на ошибках!

Да даже с приличным стажем иногда можно затупить, запутаться в навигации, когда она скачет туда-сюда, а вокруг серьёзный трафик, и город не очень знакомый. Бывает засмотришься на красном на перекрёстке в навигатор пытаясь понять где ты есть, и прозеваешь переключение. Сзади, понятно, истерично сигналят в первую миллисекунду. Я в таких случаях всегда благодарю за напоминание и за внимательность однократным миганием аварийки. Не, ну прощёлкал же, а человек позаботился, окликнул, поторопил. Спасибо ему!

Понятно, что там меня может и матом покрыли в три слоя, но мне-то хочется думать о людях хорошо, думать что вокруг интеллигентные доброжелательные все... При таких мыслях и сам становишься ещё чуточку интеллигентнее и доброжелательнее.