Чек-лист
кодовое словоLLM
Какие модели потянет твой компьютер
Главная ошибка — скачивать “самую умную модель”, а потом удивляться, что она еле дышит. Нужен не список модных LLM, а проверка под твою видеокарту, память и скорость.
Содержание5 глав
- Инструмент: whichllm
- Сайт: https://whichllm.net/
- PyPI: https://pypi.org/project/whichllm/
- Для чего: сканирует железо и показывает, какие локальные LLM нормально запустятся именно у тебя.
Быстрая проверка macOS/Linux
curl -sL https://whichllm.net/detect.py | python3
Установка через pip
pip install whichllm
whichllm
Что смотреть в результате
VRAM
хватает ли видеопамяти.
Speed
сколько токенов в секунду.
Fit type
модель полностью помещается в GPU.
Score
качество с учётом бенчмарков.
Симуляция видеокарты перед покупкой
whichllm --gpu "RTX 4090"
whichllm --gpu "RTX 5090"
Практическое правило
Не гонись за 70B, если она будет работать медленно. Лучше модель меньше, но быстрая и стабильная на твоём железе.
