# 1314521gjy/ninfer-fusion-kvmem

> Форк движка вывода NInfer для малого объёма VRAM и длинного контекста: KVMem-кольцо и host-backed переиспользование KV-кэша, чтобы контекст не перезаполнялся каждый раунд. Ранняя версия с известными багами, только для личного использования.

- Магнитуда: 3,6 из 10 — Ранний сигнал
- Звёзды: 103 всего · +4 звезды по замерам 2026-10-06, 15:03–17:36 UTC, к вечеру ≈ 8
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: C++ · Лицензия: Apache-2.0 · Создан: 2026-10-04 · Последний коммит: 2026-10-06
- GitHub: https://github.com/1314521gjy/ninfer-fusion-kvmem · Страница: https://gitnova.dev/r/1314521gjy/ninfer-fusion-kvmem

## Чем пригодится

- Запустить движок с пулом KV 4,000 токенов и проверить ответ на 96K-контексте
- Собрать движок из исходников по инструкции для CUDA 13.3 и MSVC
- Проверить переиспользование KV-кэша во втором раунде диалога через smoke-скрипт

## Почему он здесь

- По замерам счётчика за 2026-10-06 (UTC), 15:03–17:36: 99 → 103 звёзд (+4). Это прирост за указанный интервал.
- Расчётный прогноз на конец суток: около +8 звёзд; учитывает наблюдаемый прирост и предыдущий день.
- Репозиторию 2 дня, а у него уже 103 звезды. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
- Топ новых репозиториев за неделю: #136.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 11
- Issues и pull requests: 3
- Наблюдателей: 1
- В среднем за неделю: 32 в день
- Обычный темп: мало истории (меньше двух недель)
- Звёзд за последний час (по замерам): 0
- Последний релиз: engine-v0.11.0-kvmem-20261003 (2026-10-04)

## Звёзды по дням за 3 дня (от старых к новым, сегодня — неполный день)

2026-10-04 … 2026-10-06: 39, 49, 4

## Где замечен сейчас

- Топ новых репозиториев за неделю: #136

## Ещё в этой категории

1. **Niko1221/Strata** — 7,2 · Взлёт · Языковые модели · C++ · +1 501 звезда по замерам 2026-10-06, 00:17–17:34 UTC, к вечеру ≈ 2 059
   Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.
   Полная карточка: https://gitnova.dev/r/Niko1221/Strata.md
2. **deepseek-ai/DeepGEMM** — 5,9 · Взлёт · Языковые модели · Cuda · +102 звезды по замерам 2026-10-06, 11:46–17:34 UTC, к вечеру ≈ 142
   Библиотека CUDA-ядер для тензорных ядер GPU: GEMM (FP8, FP4, BF16), fused MoE, MQA-скоринг для indexer. Ядра компилируются в рантайме через DeepJIT, установка без сборки CUDA.
   Полная карточка: https://gitnova.dev/r/deepseek-ai/DeepGEMM.md
3. **Hiteater-wzm/eeo** — 5,4 · Ранний сигнал · Языковые модели · JavaScript · +61 звезда по замерам 2026-10-06, 00:23–17:35 UTC, к вечеру ≈ 84
   Открытое сообщество и набор инструментов для «Everything Engine Optimization»: бренды публикуют машиночитаемые карточки о себе, а сервис измеряет, насколько бренд виден в ответах AI-движков.
   Полная карточка: https://gitnova.dev/r/Hiteater-wzm/eeo.md
4. **StayLameBro/backburner** — 5,4 · Ранний сигнал · Языковые модели · Python · +77 звёзд по замерам 2026-10-06, 00:17–17:35 UTC, к вечеру ≈ 108
   Форк llama.cpp, который подключает iPhone по USB-C к Mac и распределяет работу: Mac считает слои 1-40, iPhone — 41-64 на своём GPU, что ускоряет prefill и позволяет держать контекст до 196k-229k токенов. Нужен тем, кто запускает Qwen3-27B…
   Полная карточка: https://gitnova.dev/r/StayLameBro/backburner.md
5. **empero-org/brewery-ai** — 4,7 · Ранний сигнал · Языковые модели · Python · +7 звёзд по замерам 2026-10-06, 00:18–17:35 UTC, к вечеру ≈ 15
   Консольный агент, который в диалоге с AI-помощником проводит пользователя через весь цикл fine-tuning языковых и image-моделей: от выбора базовой модели и данных до обучения на GPU и публикации на Hugging Face.
   Полная карточка: https://gitnova.dev/r/empero-org/brewery-ai.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-10-06 17:51 UTC, обновление каждые 30 минут.