Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Регистрируясь, я даю согласие на обработку данных и условия почтовых рассылок.
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Популярная настольная игра

Длинные Нарды Турнир

Настольные, Мидкорные, Для двоих

Играть

Топ прошлой недели

  • cristall75 cristall75 6 постов
  • 1506DyDyKa 1506DyDyKa 2 поста
  • Animalrescueed Animalrescueed 35 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая «Подписаться», я даю согласие на обработку данных и условия почтовых рассылок.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
0 просмотренных постов скрыто
empenoso
empenoso
Программирование на python

Как увидеть алгоритмические манипуляции и скрытую ликвидность на MOEX⁠⁠

1 минуту назад

Обычный трейдер смотрит на свечной график, но свеча — это уже тень прошлого, постфактум. Между тем настоящая динамика рождается в глубине торгового стакана — Limit Order Book, где борьба заявок определяет будущий импульс.

Проблема в том, что историю стакана почти нигде не увидеть: розничные терминалы для частных клиентов дают лишь текущую таблицу DOM ( Depth of Market ) и это статичный срез без прошлого.

Чтобы увидеть то, на что обычный трейдер не обращает внимание я собрал инструмент, который превращает исторические данные L2 Order Book (стакан заданной глубиной) и Trades Stream (обезличенные сделки) в тепловые карты и позволяет изучать эволюцию заявок на Московской бирже через браузер с Deep Zoom — плавно, как в Google Maps.

Знаете Bookmap?

Если вы когда‑либо видели Bookmap, то идея проекта вам покажется знакомой. Bookmap — это профессиональный инструмент, который рисует тепловую карту ликвидности стакана и сделок в реальном времени: где стоят крупные заявки, как они двигаются, исчезают или наоборот «притягивают» цену. Но Bookmap дорог, закрыт и не работает с Московской биржей.

Что мы на самом деле видим?

Биржевой стакан — это не таблица в терминале и не набор случайных чисел. Это живая очередь намерений. Тысячи алгоритмов и людей размещают заявки на покупку (bid) и продажу (ask), формируя хрупкий баланс спроса и предложения. В каждый момент времени стакан отражает то, что участники хотят сделать, но ещё не сделали. И именно эти несовершившиеся действия двигают рынок.

Когда‑то впервые открыть глаза на это помогли работы Nanex. Их система NxCore показала, что HFT‑алгоритмы оставляют следы — характерные узоры, вспышки ликвидности, провалы, которые на свечном графике просто растворяются. В их визуализации «Disturbing Liquidity» исчезновение 80% заявок за одну секунду выглядело как цифровой обвал — видимый только тем, кто смотрит внутрь книги ордеров, а не на результат на графике.

Nanex ~ 14-Sep-2012 ~ Disturbing Liquidity. Prices and depth of book (top). Size map (bottom).

Nanex ~ 14-Sep-2012 ~ Disturbing Liquidity. Prices and depth of book (top). Size map (bottom).

Другой источник — исследования Parasec, где анализировали глубину и «дыхание» ликвидности на биткоин‑биржах. Их визуализации тоже показали, что стакан — это не плоская таблица, а многослойная структура, где заявки добавляются, исчезают и перестраиваются, создавая паттерны, похожие на биение пульса.

Визуализация высокочастотной торговли в Bitcoin. Источник: <a href="https://pikabu.ru/story/kak_uvidet_algoritmicheskie_manipulyatsii_i_skryituyu_likvidnost_na_moex_13504277?u=http%3A%2F%2Fparasec.net%2F&t=parasec.net&h=27bd38700273fcf90d544de48930562296ec4aa3" title="http://parasec.net/" target="_blank" rel="nofollow noopener">parasec.net</a>

Визуализация высокочастотной торговли в Bitcoin. Источник: parasec.net

Визуализация высокочастотной торговли в Bitcoin. Источник: <a href="https://pikabu.ru/story/kak_uvidet_algoritmicheskie_manipulyatsii_i_skryituyu_likvidnost_na_moex_13504277?u=http%3A%2F%2Fparasec.net%2F&t=parasec.net&h=27bd38700273fcf90d544de48930562296ec4aa3" title="http://parasec.net/" target="_blank" rel="nofollow noopener">parasec.net</a>

Визуализация высокочастотной торговли в Bitcoin. Источник: parasec.net

В моей реализации я пытаюсь сделать так же. Код берет L2 Order Book (стакан глубиной 50) и Trades Stream (обезличенные сделки) и проходит путь от «хаоса массивов» до карты эволюции рынка.

Мой код представлен на GitHub: empenoso/MOEX-OrderBook-DeepZoom

Сначала все события объединяются во временные блоки, чтобы уместить недели данных в шаблон по горизонтали — без потери структуры. Далее строятся две тепловые карты: верхняя показывает абсолютные уровни цен и ликвидности, нижняя — относительное смещение вокруг mid‑price, чтобы видеть деформации книги ордеров независимо от тренда. Яркость пикселей кодирует объём (после логарифмической нормализации), а цвет — насыщенность ликвидности. Сделки накладываются поверх — как тонкая линия и серия точек разных размеров, привязанных к реальным объёмам.

Мой черновик реализации. Большой пример с увеличением есть в репозитории

Мой черновик реализации. Большой пример с увеличением есть в репозитории

Временно развернул как сервис у себя. Ссылку публично не буду давать, боюсь что мой сервер просто упадёт, но если вы напиши мне лично, то я сброшу ссылку вам посмотреть. Долго держать включенным сервис не буду - у меня нет идеи создать такую услугу, я лишь хочу посмотреть закономерности для самого себя.

Мой черновик реализации. Все данные которые у меня были - в этом черновике сервиса

Мой черновик реализации. Все данные которые у меня были - в этом черновике сервиса

Зачем это нужно?

Например для поиска аномалий:

Flash Crashes. Когда цена внезапно проваливается, трейдеры ищут виноватых в свечах или новостях. Но иногда причина банальна: на стороне bid просто исчез слой ликвидности, и рынок провалился в пустоту. Визуализация показывает это мгновенно — пустые коридоры, резкие «дыры» в глубине, которые на обычном графике не видны.

Spoofing. Ложные крупные заявки, которые появляются и исчезают, чтобы напугать участников или двинуть цену в нужную сторону. В стакане это выглядит как рваные полосы «жирных» уровней, которые никогда не исполняются. Понять такую манипуляцию по свечам невозможно, но на тепловой карте она читается моментально. Польза? Видеть то, что скрыто от большинства — а значит принимать решения раньше толпы.

Отличная книга издана на русском на обе эти темы и написана относительно недавно в 2020 году: Flash Crash. История о трейдере‑самоучке, обвалившем финансовый рынок на 1 трлн $ (Лиам Воган).

Отличная книга на русском на обе эти темы — Flash Crash Лиам Воган

Отличная книга на русском на обе эти темы — Flash Crash Лиам Воган

Анализ микроструктуры. Стакан показывает, как именно цена проходит путь от уровня к уровню. Когда рынок упирается в крупную «плиту» заявок, визуализация помогает понять: это реальный интерес или просто бутафория? Цена отскакивает от плотных уровней, если там стоит живой спрос, и наоборот — легко «проедает» их, когда объёмы фиктивны. Дисбаланс bid/ask перед импульсом становится заметен как изменение наклона и плотности тепловой карты.

Обучение и Research. Для ML‑инженеров такой инструмент — находка. Прежде чем закармливать модель признаками, полезно глазами увидеть структуру данных: как меняется ликвидность, где возникают аномалии, какие зоны повторяются. Это позволяет строить более осмысленные фичи и проверять гипотезы не в абстракции, а на живой микроструктуре рынка.

Техническая часть

Стек: NumPy и Matplotlib для чисел и генерации PNG, Pillow (PIL) для оптимизации графики и, наконец, OpenSeadragon для работы в браузере. Эта комбинация позволяет эффективно обрабатывать гигабайты потенциальных данных.

Код открыт на <a href="https://pikabu.ru/story/kak_uvidet_algoritmicheskie_manipulyatsii_i_skryituyu_likvidnost_na_moex_13504277?u=https%3A%2F%2Fgithub.com%2Fempenoso%2FMOEX-OrderBook-DeepZoom&t=https%3A%2F%2Fgithub.com%2Fempenoso%2FMOEX-OrderBook-DeepZoom&h=3c5c2c6ff3738835bf51bfbc9ccf70a483323379" title="https://github.com/empenoso/MOEX-OrderBook-DeepZoom" target="_blank" rel="nofollow noopener">https://github.com/empenoso/MOEX-OrderBook-DeepZoom</a>

Код открыт на https://github.com/empenoso/MOEX-OrderBook-DeepZoom

Формат и структура

Данные хранятся в.npz — это бинарные архивы NumPy, идеальные для хранения огромных многомерных массивов. Структура проста и быстра: A/B — 50 уровней цен Ask/Bid (цены спроса и предложения), vA/vB — соответствующие им объемы. Такая структура, близкая к матрице, максимально эффективна для Data Engineering и скоростного анализа.

Временный сервис работает и с телефона

Временный сервис работает и с телефона

Пайплайн: от тика до тепловой карты

  1. Биннинг (агрегация). Чтобы стабилизировать визуальное разрешение (ось X = 12 000px) и справиться с хаосом необработанных тиков (событий), мы агрегируем данные в фиксированные временные слоты. Это позволяет уместить неделю биржевой активности в HD карту без потери общей структуры и видимых аномалий.

  2. Математика объемов (np.log1p). Ключевая деталь: логарифмирование объемов. Разница между ритейл‑заявкой и крупным фондом может достигать 4-х порядков. Линейная шкала убивает детали, делая мелкие, но важные намерения невидимыми. Функция np.log1p() сжимает этот разброс, позволяя на одной тепловой карте видеть как «бумажные» ордера, так и реальные ликвидные «плиты».

  3. Генерация и Тайлинг. Мы создаем огромный PNG (до 12 000 пикселей в ширину), который затем Pillow нарезает на пирамиду мелких (256px) тайлов с манифестом.dzi. Это суть Deep Zoom: браузер загружает только видимые плитки, обеспечивая плавный, Google Maps‑подобный скроллинг и масштабирование (через OpenSeadragon) без необходимости загружать весь гигабайтный файл.

Примеры

Акции Газпром GAZP в августе на MOEX (TQBR)

Акции Газпром GAZP в августе на MOEX (TQBR)

МКПАО «Т&#x2011;Технологии» (T) — котировки на MOEX (TQBR) в декабре

МКПАО «Т‑Технологии» (T) — котировки на MOEX (TQBR) в декабре

ПАО «Татнефть» им. В.Д. Шашина (TATN) — в декабре

ПАО «Татнефть» им. В.Д. Шашина (TATN) — в декабре

Как запустить у себя?

Процесс максимально прост и понятен для любого разработчика:

  1. Клонируйте репозиторий и установите зависимости: git clone ..., затем pip install -r requirements.txt.

  2. Поместите файлы с историей стакана (ваши .npz) в папку npz_data/.

  3. Запустите оркестратор: python main.py (он нарежет данные, создаст Ultra‑HD карты и Deep Zoom тайлы).

  4. Запустите локальный сервер и откройте http://localhost:8000.

Важный дисклеймер: мой код — это «плеер» (визуализатор), который умеет работать с готовым форматом. «Кассета» (исторические данные Московской Биржи) является платной. Скрипт ждет готовые .npz файлы, которые вы должны предоставить самостоятельно. Если нет доступа к платным данным, то можно самостоятельно накопить историю через API брокера — это бесплатно и доступно для частного лица.

Заключение

Мы привыкли смотреть на рынок через свечи — удобную, но упрощённую проекцию сложной динамики. Однако за каждым движением цены скрывается куда более интересный мир микроструктуры: заявки, очереди, исчезающие уровни, вспышки ликвидности, невидимые на обычном графике. Этот визуализатор — это попытка сделать этот скрытый слой таким же доступным, как карты в браузере: приблизить, отдалить, задержать взгляд и увидеть то, что раньше пролетало мимо.

Если вам интересно покопаться внутри рынка — забирайте репозиторий, улучшайте, экспериментируйте, дополняйте. Чем больше мы делаем таких инструментов, тем меньше рынок остаётся «чёрным ящиком» и тем больше у частных инвесторов появляется возможностей понимать происходящее, а не гадать.

Спасибо, что дочитали до конца. Если хотите увидеть живые примеры или пообщаться — пишите в Telegram. Буду рад обсудить, подсказать и услышать ваши идеи.

Автор: Михаил Шардин
🔗 Моя онлайн‑визитка
📢 Telegram «Умный Дом Инвестора»

16 декабря 2025

Показать полностью 12
[моё] Финансы Технологии Длиннопост
0
Ullit.tka
Ullit.tka

Домики? Лежанки? Пледы? Кресла? В может лучше...⁠⁠

6 минут назад

На видео в конце кожаные дали неудобную коробку, бедняжка несколько минут не могла понять как сесть поудобнее и куда деть хвостик. Очень уж странные движения она совершала им в попытках усесться х)

Перейти к видео
Показать полностью 4 1
Кот Милота Прелесть Мышь Любовь Мемы Юмор Видео Вертикальное видео Короткие видео Длиннопост
0
Вопрос из ленты «Эксперты»
user11401713

Прошивка ноунейм ТВ приставки⁠⁠

11 минут назад

Помогите найти прошивку либо подскажите кто сталкивался, взял ТВ приставку на ВБ , повелся на хорошие отзывы и цену , но реальность оказалась не столь сказочной, по карточке было указано 8/128 а на яву видимо и близко столько нету. Вопрос в том , что будет если я попытаюсь ее форматировать, вернуться ли настоящие показатели? И есть ли прошивки на нее ?

Показать полностью 2
[моё] Вопрос Спроси Пикабу Проблема Длиннопост
1
user9674044

Ответ на пост «И снова МАХ»⁠⁠12

14 минут назад

Узнаю мeйлpyшную систему безопасности, бессмысленную и беспощадную. У них реально считается, что полная смена имени - повод для паники. У меня почти также произошло неделю назад с почтой на мeйлpy.

Регал я ее лет около 15 назад, ума у меня было тогда меньше (да и сейчас немного) и в поле Имя Фамилия я ввел банального Ивана Иванова. Недолго пользовался почтой, потом появился телефон на андроиде и перешел на гугловскую почту, успешно забыв про мeйлрушную. В 2022-м на всякий случай вспомнил пароль и зашел - аккаунт, что меня приятно удивило, был еще живой, из облака все пропало и само облако стало меньшего объема, но да ладно. Их не смутило, что в почту зашли спустя многолетний перерыв из совершенно другого города чем тот, где почта была создана.

Когда в этом году летом после перерыва снова зашел после очередного переезда там тоже никаких подозрений на входе не встретил. После ввода белых списков последние пару месяцев пользоваться стал активнее, потому что больше, извините, часто больше не чем когда нет доступа к проводному. И меня стали люди, которые моего настоящего имени не знают (а я, по старой доброй традиции, не люблю в интернетах представляться) стали звать Ваней, потому что видели это имя в отправителях.

Чтобы каждому не объяснять, что я не Иван, решил сменить имя-фамилию, не имея фантазии, на первую и последнюю часть логина. В официальных гайдах никаких предостережений против этого не увидел. Ничего человечьего не выходило, потому что, как и по моему нику на пикабу видно, выдумывать ники я не силен, так что звать меня стали примерно "kusok kirpicha" (имя изменено, во всех смыслах).

И буквально на следующий день мeйл сообщил мне о "попытке взлома" и не пустил меня в аккаунт. Никаких входов посторонних при этом не было, спам по контактам от меня ни в кого не полетел, входил все время с одного телефона с одного айпи одного города. При вводе правильного пароля, для "защиты от взлома" предлагалось ввести и подтвердить телефон, на чем мое использование мeйл.рушной почты завершено, большое спасибо за заботу. Когда поводы для паники были хоть какие-то, мeйл.ру и не думал защищать мою почту, а когда ничего важного не произошло, сразу же получил равноценный бану подарок. Может, конечно, это совпадение и "после не значит из-за", но основания так предполагать имеются.

И самое тут страшное, что будь "взломщик" не глюком кривого скрипта, а реальным, ему абсолютно ничего не мешало бы навсегда увести у меня аккаунт привязав к нему нужный номер и сменив после этого пароль. И свой номер я бы уже привязать при всем желании не смог бы. Адекватнее тут было бы или уж действительно бан без права восстановления по принципу "так не доставайся ты никому" или, разумеется, лучше не принимать действий без реальных признаков взлома.

Справедливости ради, саму порочную идею "человека без привязанного номера, кажется, взломали, давайте мы ему при предъявлении верного пароля предложим ультимативно привязать телефон!" исповедует еще много кто, начиная с гуглов. И я не представляю в каком сценарии она может реально защитить. Когда "взломщик" вдруг теряется без телефона под рукой и на опережение настоящий владелец успевает привязать свой телефон? А такие гонки на скорость с хакером, в которые только при большом везении выиграть можно, они точно про безопасность? Если сервис хочет сказать, что ему просто не нужны юзеры без подтвержденного номера, то это можно в более этичной форме это сделать и не сочинять сказки про взлом.

А если уж вопрос про реальную безопасность, то привязка номера, в идеале, личное дело каждого. По своему опыту, риск потери сим-карты с номером намного выше риска забыть пароль или настоящего взлома. Телефоны у меня крали, я их терял сам, номера отключались оператором из-за "долгой неактивности" и лишь потому, что дело было во времена давние, никаких чувствительных сервисов к ним привязано не было. Кто иначе оценивает риски - пусть привязывает, пожалуйста, только меня не заставляйте, особенно вот так вот.

Мораль для ЛЛ: Лучше имена просто так теперь нигде не менять, на всякий случай.

Показать полностью
[моё] Мессенджер MAX Блокировка Бред Длиннопост Родители и дети Скриншот Текст Волна постов Безопасность Аккаунт Пароль Логин Электронная почта Взлом Ответ на пост
1
Lapkapawpaw
Lapkapawpaw
Серия Платья

Платье с мотылёчками⁠⁠

15 минут назад

Раскроила я это платье года три назад (🥲), но руки дошли до него только осенью этого года.

Состав:

Ткань с принтом - хлопок, воротничок и манжеты - полиэстер.

Рукав епископ, воротник фигурный, в виде крыльев, юбка платья - прямоугольники. Талиевых вытачек спереди нет - шоб сытый пузяк скрывать. Подкладки нет, только обтачка горловины.

Показать полностью 6
[моё] Рукоделие Рукоделие без процесса Ручная работа Своими руками Платье Мотылек Шитье Длиннопост
0

Небезопасный контент (18+)

Авторизуйтесь или зарегистрируйтесь для просмотра

Deviator
Deviator
Furry Lover
Аниме[18+]

Alt Hinata⁠⁠

31 минуту назад
Показать полностью 7
18+ [моё] Контент нейросетей Аниме Anime Art Stable Diffusion Арты нейросетей Hinata Hyuga Цветные волосы Длиннопост
2
caeseum
caeseum
Серия Warhammer 40K

Ответ DrMwenyeFuraha в «Интересные факты о Ла-Манше, где неожиданно появилась российская подлодка»⁠⁠2

31 минуту назад

Дело № 1134

Инквизитор Квинтус расправил пергамент на столе. Случайно перехваченный текст, распространяющийся среди мелких клерков местного отделения Администратума, был фрагментарным, бредовым, словно составленным в припадке помешательства - что-то о пальцах и цифрах. Но именно в этом кажущемся беспорядке Квинтус, слуга Ордо Херетикус, уловил запах ереси. Не грубой скверны ксеносов или хаоса, а чего-то изощрённого, подтачивающего саму логику Империума.

"Пальцев - двадцать. Это аксиома, данная Императором в Святых Текстах Анатомии", - прошептал он, глядя на свои руки в грубых кожаных перчатках. Но автор еретического манускрипта настаивал: у половины человечества их двадцать один. И ещё какой-то одиннадцатый палец, отрицаемый самими его носителями. "Вербальное насилие" - так они его называли. Какое изощрённое извращение! Это было не физическое уродство - это была ересь восприятия, отрицание священной формы человеческого тела.

Он дошёл до места, где безумие текста сгущалось. Число 21, всего на единицу меньше 22. И тут - ссылка на один из древних алфавитов Терры. "Каф", "Ламед", "Нун", "Мем". Буквы, ставшие числами, числа, указывающие на... что? Его взгляд упал на картинку, вставленную в текст, и два числа, 11 и 34, начали обретать смысл.

Мозг Квинтуса, отточенный годами охоты на ересь, сработал мгновенно. Правило 34. Непристойная, порочная формула, циркулирующая в самых гнилых уровнях когитаторных сетей. И сама фраза: "делайте 34 вдвоём каждую ночь, чтобы к утру было 68".

Он понял. Это не просто бред. Это ритуальная нумерология. Осквернённые символы древности и телесная ересь тут используются для выведения порочного сакрального числа - 68. Числа, которое, будучи разделённым на два (двое совершающих ритуал), давало ту самую скверную 34. Это была цельная, пусть и безумная, система еретической веры. Вера в силу извращения, закодированная в анатомии и арифметике.

Инквизитор поднялся. Его лицо было каменным. Ересь проявила себя. Она не пылала адской яростью берсерка-культиста и не пряталась в сумраке рабочих кварталов Ностромо. Она тихо жила в искажённом восприятии тела, в шутках о пальцах, в казалось бы случайных числах. Самая опасная ересь - та, что маскируется под абсурд, чтобы проникнуть в неохраняемые умы.

"Ордо Херетикус действует", - произнёс Квинтус, заряжая болтер. Предстояла долгая, кропотливая работа по поиску автора этого текста и выявлению всех, кто подвергся его воздействию, у кого по их собственному, искажённому восприятию, оказывалось больше двадцати пальцев. Империум должен быть чист!

Показать полностью
[моё] Познавательно Факты Длиннопост Бред Сарказм Правило 34 Чушь Муть Ответ на пост Warhammer 40k Текст
0
jumper94

Специально не придумаешь⁠⁠

44 минуты назад
Специально не придумаешь
Показать полностью 1
[моё] Реклама Политика Длиннопост
7
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии