ГлавнаяМатериалы из Reels/ShortsЧек-лист
Чек-лист
кодовое словоЛокально

Ollaya: как запустить нейросети у себя на компьютере

Ставишь Ollaya одной командой, запускаешь первую модель у себя на машине - с видеокартой или на обычном процессоре - и подключаешь её к Claude Code и Cursor через MCP.

Содержание6 глав
  1. 01Что это и где взять
  2. 02Установка одной командой
  3. 03Какую модель брать
  4. 04Первый запуск модели
  5. 05Подключение к Claude Code и Cursor через MCP
  6. 06Проверь себя

Шаг 0

Что это и где взять

Ollaya - это как Ollama, только для моделей, которые принимают решения: классифицируют письма, тикеты и заявки, определяют намерение и срочность и разводят запросы по нужным моделям. Бесплатно, открытый код, написано на Rust, под капотом ONNX Runtime. Данные не уходят с твоей машины, за API платить не нужно.

Репозиторий Ollaya на GitHub

Сайт и страница загрузки

Шаг 1

Установка одной командой

Выбери команду под свою систему и вставь в терминал. Linux нужен x86_64 или arm64 с glibc 2.38+ (например, Ubuntu 24.04+), macOS - на Apple silicon.

curl -fsSL https://ollaya.dev/install.sh | sh

macOS и Linux - в терминале

irm https://ollaya.dev/install.ps1 | iex

Windows - в PowerShell

Видеокарта NVIDIA
Если есть NVIDIA с драйвером R525+ (на Windows - R527+), установщик сам доставит CUDA: CUDA 13 для драйверов R580+, CUDA 12 для более старых. Ничего руками ставить не нужно.

Не хочешь ставить в систему - запусти в Docker. Сервер поднимется на порту 11435.

docker run -d --name ollaya -p 11435:11435 -v ollaya:/home/ollaya/.ollaya ghcr.io/ollaya-dev/ollaya

Docker - только процессор

docker run -d --name ollaya --gpus=all -p 11435:11435 -v ollaya:/home/ollaya/.ollaya ghcr.io/ollaya-dev/ollaya:cuda

Docker - с видеокартой NVIDIA

Любишь кнопки - на странице загрузки есть десктопное приложение для macOS, Windows и Linux: запускает и останавливает сервер и качает модели.

Шаг 2

Какую модель брать

01
Есть NVIDIA от 10 ГБ - winnow:e4b
113 мс на пять вопросов на RTX 5090
Рекомендованная модель. Это модель класса 4B, поэтому ей нужна видеокарта
02
Обычный процессор - laya
516 мс на пять вопросов на CPU
Без видеокарты начинай с laya. Это роутер: сам выбирает laya:en или laya:multilingual по языку текста. Для русского сразу бери laya:multilingual
03
Остальные модели - в каталоге
decider, kev, nli, gliclass, qwen3guard и другие - на ollaya.dev/search. Перед коммерческим использованием проверь лицензию модели: например, nimble:9b-v3 только для некоммерческого использования

Каталог моделей Ollaya

Шаг 3

Первый запуск модели

Отдельно скачивать модель не нужно: ollaya run сам скачает её при первом запуске, загрузит и поднимет сервер, если он не запущен.

ollaya run winnow:e4b "Hi, I cannot log in since this morning and I have a demo at 3pm."

С видеокартой

ollaya run laya

На обычном процессоре

Готовый пресет - разбор обращения в поддержку: модель скажет, что хочет клиент и насколько это срочно.

ollaya run winnow:e4b --preset triage "Third time this year you've double-charged me. Refund it today or I'm cancelling and moving to a competitor."

Пресет triage

Свои вопросы и варианты ответа - через --ask и --choice. Текст обращения подаёшь из файла.

ollaya run kev --ask "Is a refund requested?" --ask "Which team?" --choice billing --choice sales < ticket.txt

Свои вопросы к тексту из ticket.txt

Команды как в Ollama
pull, list, ps, show, rm, cp, stop и create работают так же, как в Ollama. API сервера - на http://localhost:11435.

Шаг 4

Подключение к Claude Code и Cursor через MCP

Команда ollaya mcp отдаёт модели агентам как MCP-сервер. Ollaya к этому моменту уже должна стоять на машине.

claude mcp add ollaya -- ollaya mcp

Claude Code - в терминале

Для всех проектов
По умолчанию сервер добавляется только в текущий проект. Добавь --scope user - и он будет во всех проектах. --scope project запишет его в .mcp.json проекта, и он появится у всей команды.
claude mcp list

Проверка в Claude Code: сервер должен быть подключён, внутри сессии /mcp покажет его инструменты

В Cursor добавь сервер в ~/.cursor/mcp.json - для всех проектов, или в .cursor/mcp.json - для одного проекта.

{
  "mcpServers": {
    "ollaya": { "command": "ollaya", "args": ["mcp"] }
  }
}

Cursor - ~/.cursor/mcp.json

Чтобы агент сам понимал, когда звать эти модели, поставь ему навык из репозитория.

npx skills add ollaya-dev/ollaya --skill ollaya-decisions

Навык для агентов

Документация: агенты и MCP

Финиш

Проверь себя

  • Открыл репозиторий Ollaya на GitHub
  • Поставил Ollaya командой под свою систему или поднял в Docker
  • Выбрал модель: winnow:e4b с видеокартой NVIDIA, laya - на обычном процессоре
  • Запустил первую модель через ollaya run и получил ответ
  • Прогнал свой текст через --ask и --choice
  • Подключил Ollaya к Claude Code командой claude mcp add и проверил через claude mcp list
  • Добавил ollaya в mcp.json Cursor
  • Поставил агенту навык ollaya-decisions
Скачать материал