Открытые веса: скачать может каждый, запустить почти никто

Первую модель лаборатории бывшего технического директора OpenAI отдали целиком и бесплатно. Только полная версия весит 1,9 ТБ, и по официальной модель-карте ей нужно 16 серверных видеокарт.

Содержание6 глав

01Открытая модель или подписка
02Семь вопросов до того, как что-то скачивать
03Сколько железа реально нужно
04Три пути, если открытые веса тебе подходят
05Три ошибки, которые стоят денег
06Где смотреть первоисточники

Открытая модель или подписка

Модель с открытыми весами можно скачать бесплатно и владеть ей вечно. Вопрос только в том, сможешь ли ты её запустить и нужно ли тебе это вообще. Пройди семь вопросов — и решение станет очевидным.

Семь вопросов до того, как что-то скачивать

Твои данные обязаны остаться внутри контура

Медицина, финансы, персональные данные клиентов, коммерческая тайна. Если да — это главный и, по сути, единственный неоспоримый аргумент за открытые веса

Тебе нужна модель под одну узкую задачу, а не «умная вообще»

Открытая база выигрывает не сырой мощностью, а тем, что её дообучают под конкретный домен. Если задача широкая — подписка на топовую закрытую модель почти всегда сильнее

У тебя есть железо или бюджет на аренду вычислений

Полная точность крупной открытой модели — это стойка серверных видеокарт, а не рабочий ноутбук. Цифры в таблице ниже

Есть человек, который будет это обслуживать

Обновления, мониторинг, откаты, замеры качества. У подписки это делает провайдер, у своей модели — ты

Ты посчитал стоимость на реальном объёме запросов

На малых объёмах API почти всегда дешевле собственного сервера. Своё железо начинает выигрывать только на постоянной высокой нагрузке

Тебе критично, что доступ не отключат и цену не поднимут

Лицензия Apache 2.0 действительно означает «навсегда твоё»: дообучать, менять и использовать коммерчески. Закрытая модель может исчезнуть вместе с решением вендора

Ты готов взять на себя безопасность

Вместе с весами ты забираешь и ответственность: фильтрация запросов, ограничение частоты, свои проверки перед запуском

Как читать результат

Отмечено пять пунктов и больше — открытые веса имеют смысл, иди в раздел «Три пути». Отмечено три-четыре — начни с дообучения в облаке, своё железо пока не покупай. Отмечено два и меньше — тебе нужна подписка или API. Открытая модель обойдётся дороже и будет слабее.

Сколько железа реально нужно

Полная точность (BF16)

~1,9 ТБ файл, >2 ТБ видеопамяти

8 карт NVIDIA B300 или 16 карт H200 — серверная стойка

Квантование NVFP4

от 600 ГБ

4 карты B300 или 8 карт H200

4-битный квант

~600 ГБ

Всё ещё несколько серверных карт

1-битный квант

~280–295 ГБ

Минимальный рабочий вариант: машина класса Mac Studio Ultra, качество заметно ниже

Облегчённая версия модели

кратно меньше

12 млрд активных параметров вместо 41 млрд — реалистичный вход для небольшой команды

Три пути, если открытые веса тебе подходят

Скачать веса

Полный контроль и максимальная приватность. Дороже всего по железу и людям. Имеет смысл, когда данные не имеют права покидать периметр

Взять ту же модель по API

Together AI, Fireworks, Modal, Databricks, Baseten. Ноль вложений в железо, при этом модель открытая — провайдера можно сменить в любой момент

Дообучить в облаке

Обучаешь под свою задачу на чужих мощностях, забираешь готовый чекпоинт. Средний путь: своя модель без своей серверной

Три ошибки, которые стоят денег

Считать «открытая» синонимом «лучшая»

Лаборатории прямо пишут, что их открытая модель не сильнейшая на рынке. Ценность в том, что её можно довести под себя, а не в верхней строчке рейтинга

Покупать железо до первого замера

Сначала прогони задачу через API той же модели и посчитай реальный объём запросов. Сервер докупишь, когда счёт за API станет больше стоимости стойки

Брать самый большой размер «на вырост»

Облегчённые версии на многих прикладных задачах идут вровень со старшими и стоят кратно дешевле в обслуживании