# ValerioDolci/capy-flash

> Инференс-движок на C++ для запуска большой MoE-модели Qwen3.8-Flash-Next (125B) в NVFP4 на двух потребительских GPU по 16 ГБ: эксперты выгружаются в RAM и считаются на CPU, остальное идёт tensor parallel. Также обслуживает плотную Qwen3.8-27B и даёт OpenAI/Anthropic-совместимый API.

- Магнитуда: 1,7 из 10 — Ровно
- Звёзды: 58 всего · +0 звёзд по замерам 2026-10-20, 01:05–03:58 UTC, к вечеру ≈ 6
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: C++ · Лицензия: Apache-2.0 · Создан: 2026-09-24 · Последний коммит: 2026-10-19
- GitHub: https://github.com/ValerioDolci/capy-flash · Страница: https://gitnova.dev/r/ValerioDolci/capy-flash

## Чем пригодится

- Поднять локальный OpenAI-совместимый сервер с Qwen3.8-Flash-Next на двух RTX 5070 Ti
- Обслуживать агентные диалоги с prefix-кэшем и вытеснением простаивающих сессий в RAM
- Запустить плотную Qwen3.8-27B на тех же двух GPU для параллельных запросов

## Почему он здесь

- По замерам счётчика за 2026-10-20 (UTC), 01:05–03:58: 58 → 58 звёзд (+0). Это прирост за указанный интервал.
- Расчётный прогноз на конец суток: около +6 звёзд; учитывает наблюдаемый прирост и предыдущий день.
- Репозиторию 26 дней, а у него уже 58 звёзд.
- Hacker News: «Show HN: Capy-flash – a 125B MoE model on two 16 GB consumer GPUs» — 8 очков, 3 дня назад.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 11
- Issues и pull requests: 11
- Наблюдателей: 1
- В среднем за неделю: 5 в день
- Обычный темп: 1 в день
- Звёзд за последний час (по замерам): 0
- Последний релиз: v0.6.0 (2026-10-19)

## Звёзды по дням за 27 дней (от старых к новым, сегодня — неполный день)

2026-09-24 … 2026-10-20: 0, 2, 3, 1, 3, 1, 2, 0, 3, 2, 0, 4, 0, 0, 3, 0, 0, 2, 2, 1, 0, 7, 7, 1, 6, 8, 0

## Hacker News

- Show HN: Capy-flash – a 125B MoE model on two 16 GB consumer GPUs — 8 очков, 2 комментариев: https://news.ycombinator.com/item?id=50118153

## Где замечен сейчас

- Замечен на Hacker News

## Похожие по описанию

1. **Wallawalla47/Infernix** — 0,6 · Ровно · Языковые модели · C++ · +0 звёзд по замерам 2026-10-20, 00:32–04:00 UTC, к вечеру ≈ 1
   C++/CUDA движок инференса Qwen-моделей на одной GPU RTX 50-й серии: выгрузка экспертов в RAM/SSD, префикс-кэш и OpenAI/Anthropic-совместимые API. Для локального запуска крупных Qwen-чекпоинтов, в том числе в агентных задачах.
   Полная карточка: https://gitnova.dev/r/Wallawalla47/Infernix.md
2. **yibie/strata-mlx** — 0,4 · Ровно · Языковые модели · Python · +0 звёзд по замерам 2026-10-20, 00:32–04:01 UTC, к вечеру ≈ 1
   Неофициальный MLX-движок для Apple Silicon: загружает GGUF-файлы Strata формата GSQ-RCO и говорит на её линейном протоколе, чтобы сервер и веб-интерфейс Strata могли управлять 125B MoE-моделью на Mac.
   Полная карточка: https://gitnova.dev/r/yibie/strata-mlx.md
3. **Niko1221/Strata** — 4,6 · Ровно · Языковые модели · C++ · +150 звёзд по замерам 2026-10-20, 00:23–03:53 UTC, к вечеру ≈ 814
   Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.
   Полная карточка: https://gitnova.dev/r/Niko1221/Strata.md
4. **FlashML-org/FreeToken** — 2,2 · Ровно · Языковые модели · Python · +12 звёзд по замерам 2026-10-20, 00:29–03:56 UTC, к вечеру ≈ 42
   Движок инференса Mixture-of-Experts для запуска крупных открытых MoE-моделей (290B+) на потребительском железе — GPU, CPU и оперативной памяти. Нужен тем, кто хочет гонять фронтирные модели локально.
   Полная карточка: https://gitnova.dev/r/FlashML-org/FreeToken.md
5. **mw00/project-maya** — 2,7 · Ровно · Языковые модели · C++ · +20 звёзд по замерам 2026-10-20, 00:27–03:55 UTC, к вечеру ≈ 80
   Локальный движок, сервер и дашборд для запуска 321B MoE-модели GLM-5.3-Flash на одной или двух NVIDIA GPU с выгрузкой экспертов в RAM и NVMe.
   Полная карточка: https://gitnova.dev/r/mw00/project-maya.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-10-20 04:02 UTC, обновление каждые 30 минут.