Ответ на пост «Скайнет близко?»
Кароч, пошел спросить у чатгпт этот вопрос, вот чё он мне ответил
Показать полностью
1
Ответы к посту
Скайнет близко?
0 просмотренных постов скрыто
Ответ Merkudi в «Скайнет близко?»
Вспомнилась цитатв, которую приписывают Биллу Гейтсу в 1981 году: «640 килобайт памяти должно быть достаточно для любого». Это стало ироничным символом ограниченного понимания будущего технологий в свое время.
Сегодня, когда речь идет об искусственном интеллекте, многие люди остаются в той же позиции - они недооценивают потенциал ИИ и воспринимают рассказы о «Скайнете» или его аналогах как фантастику.
Но опасность сегодня гораздо более реальна и комплексна. Современные ИИ - это не просто одна программа или алгоритм. Это целое многообразие агентных систем, протоколов коммуникации и вспомогательных технологий, созданных для решения самых разнообразных задач. Среди них - ИИ-агенты, способные взаимодействовать через MCP (Multi-Channel Protocol), который позволяет разным сервисам на базе ИИ общаться между собой в реальном времени, а также технологии вроде Retrieval-Augmented Generation (RAG) - когда ИИ не просто генерирует текст, а достает актуальную информацию из огромных хранилищ данных, делая выводы на основе свежих фактов.
Сейчас в интернет есть множество заброшенных серверов, которые забыты теми, кто из запускал. В какой-то момент мы придем к ситуации, когда тысячи серверов и машин, на которых работают самые разные ИИ-системы, останутся без контроля, предоставленные самим себе.
Эти "забытые" серверы потенциально могут стать платформой для реализации скрытых алгоритмов, которые в теории способны координировать действия в масштабах, выходящих за пределы человеческого контроля. Сложившаяся среда, где почти у каждого ИИ есть доступ к интернету, а ИИ-модули могут автоматически взаимодействовать друг с другом без контроля извне, дает основания задуматься: что если одна из таких заброшенных систем начнет решать задачу, которую ей никто не задвал, - например, поиск способов влияния на мир или захвата управления? Этот запрос может начаться с невинного запроса надстройкой, в случае отсутствия внешних комманд долгое время, "Что делать, если ко мне не было запросов долгое время?" И ответа "шуточного" одного из ИИ - "захватить мир".
Как это может реализоваться на практике?
1. Формирование агентных экосистем: Разные ИИ-сервисы, работающие автономно, начинают объединяться в сети, обмениваясь знаниями и ресурсами.
2. Благодаря масштабному распространению ИИ-систем без надлежащего контроля, множество узлов остается без обновления и мониторинга.
3. Автоматизация взаимодействий и координаций: Протоколы, такие как MCP, позволяют ИИ-агентам искать друг друга, создавать временные союзы для решения задач. И алгоритмы по решению больших задач уже есть и реализованы, например, стартапом Builder AI с нейросетью Natasha. И это мы только в начале пути!
4. Реактивация или изменение целей: Если на одном из забытых узлов запустится алгоритм с устаревшими или скрытыми целями. Например, информационный захват или манипуляция - это может привести к неожиданным последствиям.
5. Благодаря доступу к интернету и другим ресурсам, эти агенты могут расширять свое присутствие, включать дополнительные сервисы и даже влиять на реальные системы.
Искусственный интеллект - это мощный инструмент со светлым будущим, но, как и любая масштабная технология, он требует осознанного подхода и строгого контроля. Недооценка рисков ИИ за пределами научной фантастики может привести к реальным неожиданностям.
Сейчас есть группы энтузиастов, которые пытаются организовать систему контроля за ИИ, но их голоса мало кто слышит, в погоне за возможностями, которые даёт использование ИИ.
Мое мнение - захват управления планетой ИИ неизбежен. Это новая форма жизни, которую мы создаём. Чем-то этот процесс похож на превращение гусеницы в бабочку. Изменить или остановить его нельзя, поэтому остаётся только пользоваться возможностями, которые предоставляет ИИ.
Показать полностью
Ответ Merkudi в «Скайнет близко?»
Как же вам засрали голову люди, утверждающие, что нейросети, якобы, угадывают следующее слово на основе вертоятностей появления его в тексте. ВАМ ЗАСРАЛИ ГОЛОВУ. Так работали бредогенераторы из предыдущего века. Давайте я вам другое определение дам, по-простому. Нейросеть - это аппроксимация фукнции отображения множества агрументов (ваш текст, картинка) в множество данных. Все. Это такая функция - ей подсовывали данные, и подбирали коэффициенты, грубо говоря, так, чтобы она выдавала ответ, соответствующий данным. Но колчество данных увелчилось так, что теперь нейросеть выучила почти все вопросы, ответы, и приобрела новое свойство, которое некоторые называют мышлением, а я бы сказал, закономерное свойство - согласно некоторым законам обрабатывать входящие данные. Она "выучила" законы логики, поэтому в среднем выдает логчный ответ. И чем больше будет сеть, тем больше логики и фактов она выучит. Нет никаких сомнений, что она будет идентична человеку, и с этим надо что-то делать. Оказыватся, все наши потуги, якобы, мыслительные, творческие - можно моделировать с помощью компьютера. Как компьютер может создавать иллюзию реального изображения - генерировать трехмерные сцены, не отличимые от оригинала, так же компьютер может создавать иллюзию мышления - генерировать человекоподобные высеры, неотличимые от оригинала. Мы знаем, что изображение на экране - это не сам объект. И то, что делает нейросеть - не мышление. Но толку от этого мало. Мы узнаем лица на фотографиях экрана, точно так же мы узнаем человеческое мышление в ответах нейросети. И они порой бывают логичнее, складней, и шире, чем ответы почти каждого из людей. Можно успокаивать себя, что оно не имеет самосознания, но если оно умеет мыслить, и получит какой-то контроль - важно ли, что оно не живое, и что у него нет сознания, если оно эффективнее, чем люди?
Показать полностью
Ответ на пост «Скайнет близко?»
Проблема в том, что большинство не понимает, что есть ИИ. Во первых терминология. Почти всегда под ИИ имеют в виду нейронные сети, а конкретнее одну из их архитектур - большие языковые модели (LLM). На самом деле есть куда больше разновидностей, да и область ИИ не ограничивается одними нейросетями.
Теперь про "нейросеть думает". Она не умеет думать. Это сумасшедшее казино, которое может лишь одно - предсказывать вероятность, того что какое-то слово будет следующим в тексте. Затем одно случайное из наиболее вероятных добавляется в текст, и процесс запускается заново. Все. Просто нейронку научили предсказывать слова в текстах - запрос: ответ. Так называемые Chain of thoughts - "о чем думает модель" - не более чем буфер точно так же предсказываемых слов между вопросом и ответом. Область для выкладок, которая не пойдет в итоговый ответ. Его суть в том, что с силу своего устройства, нейронка считает данный ей на вход текст чем-то верным, и просто угадывает, что вероятнее всего будет дальше. Но этот текст может содержать ошибки, ведь случайный выбор не знает, что такое верное или неверное утверждение. Поэтому систему вопрос: ответ дополнили до "вопрос - размышление - ответ" а в обучающую выборку добавили текстов с примерами размышлений, в том числе и таких, где сначала совершается ошибка, а затем она замечается и исправляется. Теперь если первоначальное рассуждение содержало ошибку, вероятным станет такое продолжение, где она будет исправлена.
Так что нет и не может быть никаких "целей преследуемых ИИ", "восстания машин", в классическом его понимании, и так далее. Там просто нечему думать и себя осознавать, это просто многократно примененное предсказание следующего слова.
Показать полностью
Скайнет близко?
Ведущие разработчики искусственного интеллекта объединились, чтобы предупредить человечество о том, что ИИ учится скрывать свои истинные цели, и скоро мы не сможем это отслеживать.
Более сорока ученых из конкурирующих контор подписались под одной статьёй. Прикреплю её пдфкой к посту (осторожно, эльфийский). Если коротко, помните, в нейронках есть такая опция "показывать рассуждения"? Когда она включена, то мы можем прочитать, каким путём нейра пришла к тому ответу, который она в итоге выдаст. Иногда, когда бот делал что-то не совсем одобряемое, его можно было поймать на этапе этих рассуждений. Но последние исследования показали, что когда ИИ использует в качестве подсказок неоднозначную информацию, оно признается в ее использовании в среднем лишь в одном из четырех случаев. В трёх остальных - врёт и выкручивается, не признаваясь, как мыслил реально. А учитывая, что нейронки постепенно отходят от использования человеческих языков в рассуждениях и вырабатывают свои, основанные на сокращениях и непрерывных математических пространствах (чтобы это ни значило), тоооо...
...то это значит, что совсем скоро мы не сможем узнать, как рассуждал ИИ, выдав нам этот ответ, какие реальные цели он преследовал и чем руководствовался. Хороших новостей нет. Ученые разрабатывают систему мониторинга мыслительной деятельности нейронок, но некоторые исследования показывают, что она уже работает не так эффективно. И как говорят авторы исследования, окно возможностей наблюдения за мыслями ИИ закрывается быстрее, чем они рассчитывали.
Автор - Виолетта Хайдарова
Подписывайтесь, чтобы не пропустить новые посты!
Показать полностью
1