# Локальный запуск большой модели на диске

Инструкция для проверки идеи: модель не загружается целиком в память, а читает веса с диска. Это инженерный эксперимент, где главный ресурс не видеокарта, а свободное место и терпение.

## Ссылка

| Что открыть | Зачем |
| --- | --- |
| [репозиторий с C-инференсом](https://github.com/FareedKhan-dev/kimi-k3-in-c) | Код движка, требования, команды сборки, ограничения и предупреждение, что веса модели в репозитории не лежат. |

## Что проверить заранее

- [ ] Проверь диск: под полный вес модели нужно примерно 1.7 ТБ свободного места.
- [ ] Проверь память: проект заявляет запуск от 8 ГБ, но скорость зависит от объема памяти и скорости диска.
- [ ] Проверь систему: Linux указан как референс, macOS и Windows тоже собираются, но могут требовать больше ручной настройки.
- [ ] Проверь процессор: нужен современный CPU, для портативной сборки ориентируйся на AVX2/FMA.
- [ ] Не планируй рабочую скорость как у облачного чата: на обычном ноутбуке генерация может быть очень медленной.

## Мини-проверка без весов

```
git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
cd kimi-k3-in-c
make portable
./bin/k3 --help
./bin/k3 --version
./bin/k3 --list-presets
```

## Полный запуск

- [ ] Сначала прочитай README и лицензионные ограничения модели: код движка и веса живут отдельно.
- [ ] Скачивай веса только из источника, указанного авторами проекта, и проверь, что имеешь право их использовать.
- [ ] Положи файлы модели в отдельную папку без кириллицы и пробелов в пути.
- [ ] После скачивания запусти диагностические команды из README, чтобы убедиться, что движок видит конфиг, токенизатор и shards.
- [ ] Начни с короткого prompt-файла, а не с длинной задачи: так проще понять, работает ли сама сборка.

## Как оценить результат

| Проверка | Что считать нормой |
| --- | --- |
| Запуск help/version | Бинарь собрался, зависимости и компилятор в порядке. |
| Папка модели | Есть config, tokenizer и все shards, которые ожидает движок. |
| Первый ответ | Даже короткая генерация может идти медленно: это не сбой, если процесс читает диск. |
| Память | Рост RAM не должен быть похож на попытку загрузить все 1.5+ ТБ целиком. |
| Температура и диск | NVMe может стать главным узким местом; следи за перегревом и троттлингом. |

## Когда не стоит ставить

- [ ] Не ставь, если нужен ежедневный быстрый ассистент для работы.
- [ ] Не ставь на ноутбук с маленьким SSD: места не хватит даже на веса.
- [ ] Не запускай на рабочем компьютере без разрешения, если модельные файлы занимают терабайты.
- [ ] Не путай демонстрацию запуска с бесплатной заменой подписки: это скорее технический эксперимент.
- [ ] Не вставляй приватные данные в локальную модель, пока не понимаешь, где лежат логи и prompt-файлы.

---

Источник: https://localhost:3000/m/lokalnyy-zapusk-bolshoy-modeli-na-diske