Продолжаю развивать нужное приложение для трекинга прогресса в решении задач по математике и физике. Идея в том, чтобы не просто ставить галочку «сделано», а считать время сессий, ловить «инсайты» (моменты озарения) и получать за это очки.

Но есть одна боль: вбивать формулы в телефон — это одна из причин почему это приложение не было сделано раньше. LaTeX на мобилке набирать практически невозможно, а обычный текст превращается в кашу. Поэтому я решил прикрутить фичу: сфоткал тетрадь — и приложение само перегнало рукописное решение в текст.

Чтобы выбрать, какая нейронка будет крутиться под капотом, я написал бенчмарк и устроил прожарку популярным моделям через OpenRouter. В видео выше — подробный разбор полетов, а ниже — краткая выжимка результатов (спойлер: дорого — не всегда лучше).

Условия задачи

Скормил нейросетям фотографию своего решения алгебраической задачи с корнями, степенями и сокращениями. Почерк у меня понятный вроде... так что нейросетям должно было быть легко.

Задача моделей:

1. Распознать условие.

2. Понять ход решения.

3. Перевести всё это в красивый Markdown.

Аутсайдеры

Сразу отсеялись несколько кандидатов:

• OpenAPI GPT-5.1 CodexMax: Наделал кучу ошибок, не смог распознать корень 12-й степени из 128.

• Claude Haiku 4.5: Чуть лучше, но приняла мою рукописную единицу за семерку. И степень корня неправильно распозналась. В математике это фатально.

• Mistral Small 3.1: Вообще не поняла, что происходит на картинке. Забавно, что её "младшая" версия (Ministral 3B) справилась даже лучше - это мило, но все равно плохо.

Битва титанов и вопрос цены

В финал вышли модели от Google, и тут началось самое интересное — экономика.

Gemini 2.5 Pro Справилась хорошо. Распознала всё, включая разложение числа на степени двойки. Хотя и без особых пояснений (что могло косвенно следовать из промпта задания)

• Плюс: Высокая точность, понимает логику.

• Минус: Это «думающая» модель. Она долго обрабатывала запрос и сожрала 10 центов (~9-10 рублей) за одну фотку. Для частого использования в приложении — неоправданно дорого.

Gemini 3 Flash Preview А вот это — мой фаворит.

• Точность: Почти идеальная. Она распознала каракули и даже дополнила некоторые моменты, где я сократил решение в уме, не расписывая это на бумаге.

• Ум: Она не просто переписала текст, а объяснила, откуда взялся модуль числа (корень из квадрата) и почему при раскрытии модуля появился минус. Что я не стал расписывать т.к. это очевидно.

• Цена: И самое приятное — запрос стоил 0.4 цента (~40 копеек).

Итог

Разница в цене колоссальная: 10 рублей против 40 копеек при сопоставимом (а местами и лучшем) качестве. Flash Preview работает на "автомате" и ассоциациях, не уходя в глубокие раздумья, но для разбора рукописного текста этого оказалось достаточно.

Пока остановился на ней. Если у вас есть опыт с другими моделями для OCR рукописного текста (особенно формул) — делитесь в комментах, интересно потестить что-то еще.

Итак, вернемся в конец октября. Я вернулся с Кэмпа и соревнований просто пешеходом, то есть не мог бегать — почти не мог ходить после полученной травмы на трейле в Железноводске. У меня впереди было ровно 5 недель до старта и 4 недели до отъезда. История повторилась: год назад, в начале октября, я тоже вернулся с отдыха пешеходом, тоже из-за травмы, но другого характера. Просто нет слов.

Цель была проста, пройти по грани восстановления и выхода на пиковую форму.

Из плюсов было то, что я прошел этот квест с точки зрения восстановления и знал самые действенные методы. Я начал восстанавливаться на максималках. Бегать нельзя? Окей, есть велосипед и силовая работа. Привет, велостанок в фитнесе! Врачи, кремы, компрессы, мази, упражннения, массажи, физиотерапия, фармацевтические добавки — я делал это все несколько раз в день.

Через неделю я решил попробовать побегать. Благо протокол на эту тему тоже был опробован. Примерно это выглядит так: бег 3 минуты, 3 минуты пешком, бег 5 минут, 5 минут пешком и так далее. На следующий день уже 10 минут бега и так по возрастающей. К концу второй недели я смог медленно бегать как раньше, но только медленно. На третью неделю восстановление пошло ускоренными темпами, и я решил, что за 3 недели до старта нужно пробежать 20+ км по горкам с набором 600+ метров — зашло нормально! На следующий день я решил набрать на дорожке где-то 1000 метров набора, и бинго: на следующий день опять не смог бегать, все вернулось почти в начало. Перебор(

За 10 дней у меня был последний шанс отменить отель, но я принял решение ехать! Опять кручу велосипед, мази, компрессы и т.д. Вылет был во вторник за 5 дней до старта. В воскресенье у меня начинает болеть горло — просто нет слов!

Во вторник я прилетел в Абу-Даби в таком состоянии, заселился в отель и решил побегать сразу после перелета. На 8 км я понял, что ноге совсем плохо, и просто шел в отель пешком, размышляя о том, что делать дальше.

Проснувшись с утра, от симптомов боли в горле не осталось и следа — это хорошо. Я решил, что вообще не буду бегать и буду проводить все тренировки на велостанке — благо он был в отеле. То есть цель была дать максимально восстановиться ноге, при этом максимально жертвуя скоростными работами. Что говорить — их практически не получилось сделать. Подводку к соревнованиям я провалил примерно на 50%.

Цель приехать раньше была для того, чтобы лучше акклиматизироваться. 5 дней минимальный срок. Я решил гулять по жаре днем, так как бегать не мог. В дополнение к велотренировкам я проходил по Абу-Даби по 25 000 шагов в день. Ближе ко дню старта мой отель и набережная наполнились спортсменами в нашей тематической символике — это подогревало аппетит к гонке.

И вот наступил день соревнований, точнее утро. Старт у меня был в 8 утра: приехать нужно было за час, ехать час и проснуться за полтора часа до выезда. В общем, по Москве я встал в 3:30.

В связи с такой «шикарной подводкой» к главному старту я решил сформулировать 3 цели на забег:

1. Финишировать, то есть просто добежать.

2. Реализовать имеющуюся форму на максимум.

3. Попасть на тумбочку.

Бежать я решил все-таки в свои Hoke, которые являлись косвенным виновником моей травмы, но я был непреклонен — нужно бежать в них. 6 гелей с собой: 1 до старта и 500 грамм воды с изотоником — это все я взял с собой, распихав по карманам специально подобранных шорт. Чувствовал себя отлично, нога почти не беспокоила, к жаре привык. Заряжен!

В 8 часов мы стартуем вместе с категорией 40-44 — всего человек 90. Я косвенно понимал, что тумбочка это где-то около 3 часов. Предстояло проверить, насколько я готов к такому приключению с набором около 1100 метров по пустыне при температуре 30 градусов и обещанных 50 препятсвиях. Меня ждал 21 км приключений. Все, толпа считает: 6, 5, 4... я закрываю глаза, кайфую от этого момента: 3, 2, 1... Нажимаю кнопку на часах и плавно стартую, набирая темп. Что меня ждет впереди — я не знал, но верил в лучшее!

и трасс. Перерыв в полгода в скалолазании даёт о себе знать. Но я всё больше начинаю любить "лежачки".

Самое стрёмное - это сорвать мозоли в начале тренировки. Это значит, что всю оставшуюся придётся лазать либо только на пальцах, либо через сильный дискомфорт, но это закаляет. Работаем дальше!

FAQ:
- нет, не зацепится

P.S. Читать всякое токсичное, конечно, неприятно и надолго отбивает желание продолжать что-то постить, но посмотрю как ситуация будет складываться дальше, а там уже приму решение.
Люди, которые пишут слова поддержки, приятные вещи и задают адекватные вопросы - спасибо вам, эти посты для вас)

В архитектуре использовали DeepEncoder, который сжимает высокоразрешающие изображения в малое количество визуальных токенов. А также Декодер (DeepSeek3B-MoE) для восстановления текста из сжатых визуальных токенов.

В результате при сжатии 10x точность распознавания (OCR) ~97%, а при сжатии 20x точность ~60%.

По тестам модель DeepSeek-OCR превышает производительность моделей GOT-OCR2.0 и MinerU2.0, используя в разы меньше визуальных токенов.

Может обрабатывать 200k+ страниц в день на одной A100-40G.