Подбираем локальную LLM под железо

Установить llmfit

• Откройте репозиторий llmfit.
• Выберите один способ установки.

macOS или Linux:

brew install AlexsJones/llmfit/llmfit

Windows:

scoop install llmfit

Разовый запуск через uv без системной установки:

uvx llmfit

Проверить определение компьютера

• Запустите интерактивную таблицу:

llmfit

• Получите диагностический отчёт:

llmfit doctor

• Сверьте CPU, RAM, GPU, VRAM и выбранный backend с реальными характеристиками компьютера.
• Если GPU не определился, учитывайте, что оценки будут рассчитаны для CPU.

Подобрать модель

• Посмотрите модели, которые подходят системе:

llmfit fit

• Получите рекомендации в JSON для скрипта или агента:

llmfit recommend --json

• Оцените модель по четырём показателям от 0 до 100:

• помещается ли она в память;

• ожидаемая скорость;

• качество;

• доступный контекст.

• Не скачивайте модель с красной оценкой совместимости.

• Не выбирайте автоматически самую большую зелёную модель: сравните скорость, качество и контекст под конкретную задачу.

Проверить место на диске

• Рассчитайте хранилище для трёх самых крупных выбранных моделей:

llmfit storage --keep 3 --selection largest --json

• Убедитесь, что требуемый объём меньше свободного места.
• Оставьте запас под временные файлы и системные резервы.

Проверить реальную скорость

• Запустите практический тест:

llmfit bench

• Используйте результат бенчмарка вместо предварительной оценки скорости.
• Изучите подробности конкретной модели:

llmfit info "имя модели"

• Перед скачиванием подтвердите четыре условия: модель помещается в память, скорость приемлема, качество соответствует задаче, места на диске достаточно.