Домашний сервер для работы с LLM на базе пары NVIDIA Tesla V100 SXM2 16/32 ГБ обойдется в 3-4 раза дешевле, чем аналогичный вариант на базе видеокарт RTX 3090/RTX4070. С учетом роста популярности локальных LLM, интерес к ускорителям Tesla V100 закономерно возрастает.
Серверные решения на базе графического процессора NVIDIA V100 не уступают дорогостоящим видеокартам для обработки нейросетевых вычислений, хотя стоят в разы дешевле. Стоимость разница в зависимости от состояния модулей, но можно найти как по 10-11 тысяч рублей (за 16 Гб, подороже можно взять более свежие ревизии), так и чуть дороже за версию с 32 Гб (кстати, рекомендую брать именно на 32 Гб для работы с большими ИИ-моделями. Но сборка будет не без нюансов. Эти карты предназначены исключительно для вычислений и не имеют видеовыхода. Для работы потребуется SXM2 адаптер для подключения к PCIe слоту компьютера.
Вариант для установки пары Tesla V100 непосредственно в PCIe. Тут потребуется либо райзер, либо решения, используемые в майнинге. Обратите внимание, обе Tesla V100 тут работают в паре через NVLink интерфейс.
Пошерстил ютуберов, получается что-то типа такого. Согласно тестам Hardware Haven, в задаче генерации текста с использованием локальной модели Gemma4:e4b карта V100 достигает скорости 108 токенов в секунду, что почти на 40% быстрее, чем RTX 3060 12 ГБ с результатом 76 токенов в секунду. В тестах Мой Компьютер на ютубе Qwen3.5 27B карта V100 32 ГБ показывает около 36.6 токенов/с. По данным из других видео-обзоров, V100 выдает 72 токена в секунду, тогда как RTX 5080 — 100, RTX 5070 — 80, RTX 4070 Ti — 77 токенов/с. В тестах gpt-oss-20b V100 выдавала около 130 токенов/с, превосходя Radeon RX 7800 XT (90 токенов/с). Сборка на четырех NVIDIA V100 SXM2 с памятью 32 ГБ каждая будет заметно мощнее четырех RTX 3090 на 24 ГБ, и при этом обойдется в разы дешевле. То есть четыре таких карты могут обеспечить скорость генерации токенов выше, чем у RTX 5090 (сильно зависит от настроек модели и ее размера).
Запуск локальной версии Qwen3.6 на трех графических процессорах V100 с NVLink также подтверждает эффективность такого подхода для энтузиастов, готовых уделить время настройке системы, так как придется повозиться с драйверами и охлаждением — карты шумят, если не настроить вентиляторы, но результат того стоит.
Реклама: ООО «АЛИБАБА.КОМ (РУ)» ИНН: 7703380158