ГлавнаяМатериалы из Reels/ShortsЧек-лист
Чек-лист
кодовое словоКими

Локальный запуск большой модели на диске

Инструкция для проверки идеи: модель не загружается целиком в память, а читает веса с диска. Это инженерный эксперимент, где главный ресурс не видеокарта, а свободное место и терпение.

Содержание6 глав
  1. 01Ссылка
  2. 02Что проверить заранее
  3. 03Мини-проверка без весов
  4. 04Полный запуск
  5. 05Как оценить результат
  6. 06Когда не стоит ставить

Ссылка

Что открытьЗачем
репозиторий с C-инференсомКод движка, требования, команды сборки, ограничения и предупреждение, что веса модели в репозитории не лежат.

Что проверить заранее

  • Проверь диск: под полный вес модели нужно примерно 1.7 ТБ свободного места.
  • Проверь память: проект заявляет запуск от 8 ГБ, но скорость зависит от объема памяти и скорости диска.
  • Проверь систему: Linux указан как референс, macOS и Windows тоже собираются, но могут требовать больше ручной настройки.
  • Проверь процессор: нужен современный CPU, для портативной сборки ориентируйся на AVX2/FMA.
  • Не планируй рабочую скорость как у облачного чата: на обычном ноутбуке генерация может быть очень медленной.

Мини-проверка без весов

git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
cd kimi-k3-in-c
make portable
./bin/k3 --help
./bin/k3 --version
./bin/k3 --list-presets

Полный запуск

  • Сначала прочитай README и лицензионные ограничения модели: код движка и веса живут отдельно.
  • Скачивай веса только из источника, указанного авторами проекта, и проверь, что имеешь право их использовать.
  • Положи файлы модели в отдельную папку без кириллицы и пробелов в пути.
  • После скачивания запусти диагностические команды из README, чтобы убедиться, что движок видит конфиг, токенизатор и shards.
  • Начни с короткого prompt-файла, а не с длинной задачи: так проще понять, работает ли сама сборка.

Как оценить результат

ПроверкаЧто считать нормой
Запуск help/versionБинарь собрался, зависимости и компилятор в порядке.
Папка моделиЕсть config, tokenizer и все shards, которые ожидает движок.
Первый ответДаже короткая генерация может идти медленно: это не сбой, если процесс читает диск.
ПамятьРост RAM не должен быть похож на попытку загрузить все 1.5+ ТБ целиком.
Температура и дискNVMe может стать главным узким местом; следи за перегревом и троттлингом.

Когда не стоит ставить

  • Не ставь, если нужен ежедневный быстрый ассистент для работы.
  • Не ставь на ноутбук с маленьким SSD: места не хватит даже на веса.
  • Не запускай на рабочем компьютере без разрешения, если модельные файлы занимают терабайты.
  • Не путай демонстрацию запуска с бесплатной заменой подписки: это скорее технический эксперимент.
  • Не вставляй приватные данные в локальную модель, пока не понимаешь, где лежат логи и prompt-файлы.
Скачать материал