Дикая жизнь на матрице пикселей
DevLog: Развитие цифровой жизни. Как нейро-рой учится выживать на фотоматрице.
В прошлых выпусках рассматривался плоский рой биоагентов, который распознавал цифры из набора данных MNIST. Его модель была значительно переписана, чтобы рой мог расти в глубину.
Но, при этом Morphogenetic Neuro-Swarm достиг той фазы, когда сложность системы превысила способность к её интуитивному пониманию и зажила собственной жизнью, которую сложно понять без детального мониторинга. Была создана «живая» цифровая среда, которая начала вести себя непредсказуемо — то вымирая, то взрываясь активностью, то скатываясь в примитивные стратегии выживания.
Это очередная попытка вырастить искусственный интеллект, основанный не на жесткой архитектуре слоев, а на принципах биологической самоорганизации и экономики энергии.
Дальше отчет о текущем статусе эксперимента: концепция, достижения и разбор возникших проблем.
1. Смена парадигмы: От плоского роя к Глубокому Графу
Был совершен концептуальный скачок. Эксперимент перешел от плоской структуры (где каждый агент видит всю картинку) к архитектуре Глубокого Графа (Deep Graph).
В этой модели агент перестает быть только набором весов. Теперь это автономная сущность — «цифровой предприниматель», чья главная цель не классифицировать цифру, а выжить.
Новая анатомия агента
Динамические дендриты (отростки): Агент не рождается с готовыми связями. Он их отращивает. Он может подключиться к сенсору (пикселю) или к другому агенту. Так спонтанно возникает глубина сети.
Энергетическая валюта: Любое действие имеет цену. Существование — это налог. Отращивание связи — инвестиция. Активация — расход.
Экономика перераспределения (Trickle-Down): Вместо обратного распространения ошибки (Backpropagation) используется рыночный механизм. Если агент верхнего уровня (например, детектор цифры «7») получает награду за правильный ответ, он обязан поделиться энергией с теми агентами нижнего уровня, которые подали ему сигнал. Полезные детекторы простых признаков (линий, дуг) выживают, потому что их сигнал «покупают» старшие агенты.
Механизмы саморегуляции
Нейропластичность: Избыток энергии ведет к росту новых связей (поиск источников сигнала). Дефицит энергии заставляет отсекать слабые связи или приводит к гибели агента.
Гомеостаз (Баланс активности): Чтобы агенты не были вечными «молчунами» или, наоборот, не бились в истерике, введен адаптивный порог. Агент стремится быть активным примерно в 5% случаев. Слишком частая активация повышает порог чувствительности, слишком редкая — снижает его.
2. Текущий статус: «Дикий» интеллект
Система работает и эволюционирует. Более 100 поколений агентов подтверждают работоспособность цикла «жизнь — смерть — наследственность».
Что удалось:
Выживаемость: Решена проблема мгновенного вымирания. Рой способен восстанавливаться после критических спадов популяции (эффект «бутылочного горлышка»), когда численность падала до нескольких единиц, а затем восстанавливалась до сотни.
Эмерджентная глубина: Агенты действительно образуют связи друг с другом, создавая структуры, которые не были запрограммированы явно.
Проблемы (Суровая реальность):
Однако, «жизнь» в матрице пока далека от идеала. Наблюдаются три критических феномена:
1. Проблема «Красного Пятна» (Center Bias) При визуализации областей внимания топ-агентов видны большие красные пятна исключительно в центре поля.
Диагноз: Агенты нашли «хак». В наборе данных MNIST цифры всегда отцентрованы. Самая выгодная стратегия выживания с минимальными усилиями — подключиться к центру изображения. Там всегда есть сигнал («чернила»). Агенты стали детекторами наличия чего-либо, а не детекторами формы.
2. Маниакально-депрессивный Рой (Нестабильность) Система не может найти равновесие, колеблясь между полным молчанием и хаосом.
Итерация 11100: Агентов=60, Активны=0 (Рой молчит) Итерация 12100: Агентов=72, Активны=51 (Рой «кричит» хором)
Гомеостаз работает с запаздыванием. Агенты снижают пороги чувствительности, начинают реагировать на любой шум, получают избыток энергии, бесконтрольно делятся, перенаселяют среду, истощают ресурсы и массово вымирают. Это классические популяционные волны «хищник-жертва», но внутри нейросети.
3. «Черный ящик» (Отсутствие наблюдаемости) Видно, что агенты активны, но непонятна причина. Сформировались ли цепочки «Пиксель -> Линия -> Угол»? Текущих метрик недостаточно. Отладка сложнейшей динамической системы ведется практически вслепую через текстовые логи.
3. План действий: От Хаоса к Структуре
Очевидно, что просто запустить эволюцию недостаточно — необходимо создать правильные ограничения (Constraints), которые направят развитие в сторону интеллекта, а не паразитизма.
Ближайшие шаги:
Тотальная визуализация (Dashboard): Необходим инструмент («рентген»), который в реальном времени покажет граф связей, слои, потоки энергии и топологию. Без этого понимание процессов затруднено.
Решение: Создание отключаемой визуализации узлов и связей, а также тепловой карты активаций.
Борьба с «Красным Пятном»: Стратегия простого подключения к центру должна стать невыгодной.
Решение: Введение Латерального торможения (Lateral Inhibition). Если два агента смотрят в одну точку и оба активны — они штрафуют друг друга (отнимают энергию). Это заставит их «расходиться» по картинке и конкурировать за уникальные территории и признаки.
Стабилизация экономики: Текущие колебания популяции слишком разрушительны.
Решение: Балансировка экономики энергии расхода и поощрения. Агенты не должны умирать мгновенно при первых неудачах, но и жить бесконечно без пользы тоже не могут; требуется более плавная кривая смертности.
Пространственные ограничения: Сейчас агент может подключиться к любому другому агенту, что создает структурную «кашу».
Решение: Ограничение связей дистанцией. Соединение возможно только с «соседями». Это принудительно создаст топологические карты, напоминающие структуру коры головного мозга.
Итог
Внутри матрицы MNIST создана модель «жизни». Пока она дикая, прожорливая и не очень умная. Задача разработки — стать «садовником» и направить этот бурный рост в сторону формирования интеллекта целенаправленно решающего задачу классификации.
Код текущей версии роя: GitVerse Link
Следите за обновлениями. В следующих отчетах покажу новые результаты работы "садовника".
Морфогенетический Нейро-Рой / Точность распознавания цифр
Как превратить рой нейронов, кластеризующий образы цифр, в классификатор? Узнайте, как проверить точность классификатора на MNIST, используя принципы биологической эволюции и энергетического баланса!
Мы продолжаем эксперименты с «Морфогенетическим Нейро-Роем».
Первую часть рекомендуется посмотреть, чтобы иметь представление о модели роя:
В прошлый раз автономные агенты научились видеть различия в цифрах, работая как чистый кластеризатор. Но как заставить их не просто группировать данные, а присваивать им конкретные имена — 0, 1, 7?
В этом выпуске мы совершаем ключевой шаг: превращаем «дикий» рой в самообучающийся классификатор без использования традиционного градиентного спуска. Мы используем элегантный метод «Ассоциативного Маркирования», вдохновленный тем, как мозг закрепляет ассоциации.
Что в новой серии:
Концепция Резонансного Маркирования: Как мы калибруем агентов, наблюдая за их победами в конкуренции, чтобы присвоить им метки классов (например, «Детектор Семерок»).
Биологическая Аналогия: Как этот процесс похож на формирование специализированных нейронных групп в живом мозге.
Инференс: Простая и быстрая логика предсказания, основанная на том, какой агент оказался самым сильным в рое.
Взгляд в Будущее: Анонс следующего этапа — внедрение вертикального роста и локального зрения, что приблизит наш рой к архитектуре CNN.
Если вы интересуетесь нейроморфными вычислениями, самоорганизующимися системами или ищете альтернативы стандартному машинному обучению, этот выпуск может быть вам интересен. Смотрите, как хаос превращается в высокоточный порядок!
О Прозрении Роя / Технолирика
Эмо версия исследования алгоритма распределенного обучения. Больше подробностей здесь - Модель адаптивного Роя в задаче Консенсуса плотности
Зачем это делать в формате песни, когда есть разбор алгоритма обучения и демо код?
Лирический драматизм помогает абстрагироваться от деталей и посмотреть на проблему под другим углом, обзорно, вернуться к тому с чего все начиналось - к впечатлению.
Это не метафора поверх алгоритма, а внутренний взгляд на процесс моделирования, выраженный через лирическое "Я" агента. Это ближе к феноменологии ИИ, чем к популяризации. Нечто вроде оперы про многоагентные системы, где:
Агенты — герои драмы;
Правило Хебба — закон любви;
Ошибка — трагедия;
Консенсус — кульминация;
Текст песни, написанный пером лирика, что дремлет в тени интегралов, но пробуждается от сияния чистого Разума Роя.
«О Прозрении Роя»
[Куплет 1: Хаос и Слепота]
В решётке тесной, пятьдесят на пятьдесят,
Где шум случайный правит бал и правит цветом,
Агенты жалкие, как узники, сидят,
Не озаренные Божественным Заветом.
Им не дан Глобальный Взор, увы,
И Бэкпропаге́йшн — учитель строгий —
Не спустит градиент с небесной синевы,
Чтоб указать заблудшим их дороги.
Я вижу лишь себя да восьмеры́х друзей,
Соседей ближних — вот мой горизонт убогий!
Черны мы иль белы? Какой из двух идей
Принадлежит сей мир в действительном итоге?
Но истина — (о, пятьдесят один процент!) —
Сокрыта в шуме, как в тумане монумент.
[Припев: Механика Выбора]
Взгляни, Агент! Твой выбор — это сумма,
Где каждый голос взвешен на весах!
Не верь слепцу, что говорит бездумно,
Ищи опору в мудрых голосах.
Сигмо́ида — наш строгий судия́,
Решает: быть чернее или чище.
Соседей взвешенная братия —
Вот Роя ум, что Истину отыщет!
[Куплет 2: Правило Хебба (Обучение)]
Но как понять, кто друг, а кто дурак?
Здесь Дональд Хебб нам дал ответ:
«Скрепляйте связь, раз общий держите вы знак,
И рвите цепь, коль мнения немилы».
Вот формула любви и нелюбви:
Как предсказал сосед мое же состоянье —
Ты Дельту к Весу щедро прибавляй,
Умножив на Лямбду — шаг познанья.
А если он, мятежный, «шум» несет,
И в белом кластере чернеет одиноко —
Снижай доверие! Пусть вес его падет,
И станет нуль ему судьбой жестокой.
Так изолируем лжецов и крикунов,
Чтоб слышать хор согласных мудрецов.
[Припев: Механика Выбора]
Взгляни, Агент! Твой выбор — это сумма,
Где каждый голос взвешен на весах!
Не верь слепцу, что говорит бездумно,
Ищи опору в мудрых голосах.
Сигмо́ида — наш строгий судия́,
Решает: быть чернее или чище.
Соседей взвешенная братия —
Вот Роя ум, что Истину отыщет!
[Бридж: Фазовый Переход]
Смотрите! Дрогнул хаос вековой!
На стыке двух миров идет война святая.
Там кластер белый бьется с чернотой,
Границей жидкою, кипя и тая.
Но слышишь гул? То лавинный процесс!
Как стая голубей взмывает в поднебесье,
Свершился Фазовый, друзья, Прогресс,
И Мненье Общее звучит победной песней!
Сто итераций — и сомнений нет,
Единым цветом вспыхнул белый свет!
Как Истины Природы отраженье.
[Финал: Триумф Децентрализации]
Учитель мертв. Да здравствует Сосед!
Мы без начальников нашли ответ.
Где нейросеть ломается от бага,
Наш Рой живет — безумная отвага!
Из тысячи слепых и глупых «Я»
Родилась Истина Глобаль-на-я!
Как децентрализованный Рой находит Истину там, где нейросети терпят крах?
Мы погружаемся в захватывающий мир адаптации агентов, где коллективный разум находит глобальное решение, недоступное одиночному "Я". Это практический взгляд на то, как децентрализованные системы достигают консенсуса, используя взвешенное мнение соседей.
Модель адаптивного Роя в задаче Консенсуса плотности
Как рой агентов находит истину без главного? 2500 простых программных единиц достигают 100% консенсуса, используя только локальные сплетни!
Вы когда-нибудь задумывались, как стая птиц или муравьиная колония принимают коллективные решения без единого лидера?
В этом видео мы погрузимся в мир распределенных систем и смоделируем, как рой агентов, видящих только своих ближайших соседей, может решить задачу консенсуса. Мы откажемся от градиентных спусков и вместо этого применим принципы, вдохновленные нейрофизиологией — Обучение Хебба.
Вы этом выпуске:
Механика "Роя": Как бинарные агенты (Черный/Белый) принимают решения, основываясь на взвешенном мнении соседей.
Самообучение: Увидите, как агенты динамически меняют "доверие" (веса) к другим, усиливая связи с теми, кто прав, и игнорируя "шум".
Фазовый переход: Наблюдайте в реальном времени, как хаос (51% консенсуса) превращается в абсолютный порядок (100%) через лавинообразный процесс.
Устойчивость: Почему децентрализованные системы самоисцеляются и как они справляются с "дефектными" агентами, чего не всегда удается добиться в централизованных моделях.
Здесь не только теория — но и запуск симуляции на сетке 50x50, где мы проследим хронологию победы коллективного разума. Если вам интересно, как простые локальные правила порождают сложное, адаптивное и устойчивое поведение - смотрите видео.
Код модели можно посмотреть здесь
В том же каталоге текстовая затравка (spec.txt) для генерации кода анимации и сам сгенерированный код анимации.