# ashhart/TensorFold

> Сервер инференса LLM для Apple Silicon (MLX) и NVIDIA GPU с OpenAI-совместимым API и точным спекулятивным декодированием. Поддерживает семейства Nemotron, Qwen3.8, GLM-5.3 и Gemma 4 с собственными ядрами и драфт-моделями.

- Магнитуда: 5,6 из 10 — Ранний сигнал
- Звёзды: 534 всего · +10 звёзд сегодня, к вечеру ≈ 58
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: Python · Лицензия: MIT · Создан: 2026-06-19 · Последний коммит: 2026-09-28
- GitHub: https://github.com/ashhart/TensorFold · Страница: https://gitnova.dev/r/ashhart/TensorFold

## Чем пригодится

- Запустить локальный OpenAI-совместимый эндпоинт на Mac для Qwen3.8-27B в 4-битной квантизации
- Скачать чекпоинт и драфт-модель заранее командой tensorfold pull перед запуском сервера
- Проверить совпадение вывода с драфтом и без него через параметр draft: false

## Почему он здесь

- Сегодня уже 10 звёзд, к концу дня ожидается около 58. Обычный темп — 0 в день, сейчас в 58 раз больше.
- До этого репозиторий почти не получал звёзд — около 2 в день.
- Всплеск держится 3 дня подряд — это не случайный выброс.
- GitHub Trending Python за день: #4, +160 звёзд.
- Около 16 форков в сутки — код забирают себе.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 53
- Issues и pull requests: 67
- Наблюдателей: 9
- В среднем за неделю: 78 в день
- Обычный темп: 0 в день
- Звёзд за последний час (по замерам): 4
- Последний релиз: v0.3.6.1 (2026-09-28)

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-08-30 … 2026-09-28: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 26, 252, 207, 10

## Где замечен сейчас

- GitHub Trending Python за день: #4, +160 звёзд

## Похожие по описанию

1. **MiaAI-Lab/DeepSeek-v4.1-Flash-EXL3-2x-DGX-Sparks** — 0,5 · Ровно · Языковые модели · Python · +0 звёзд сегодня, к вечеру ≈ 0
   Локальный чекпоинт DeepSeek-V4.1-Flash в квантовании EXL3 2.9 bpw (196 GiB, 39 шардов) для запуска через vLLM с OpenAI-совместимым API на двух NVIDIA GB10 (DGX Spark) с tensor-parallel 2. Включает спекулятивное декодирование DSpark и…
   Полная карточка: https://gitnova.dev/r/MiaAI-Lab/DeepSeek-v4.1-Flash-EXL3-2x-DGX-Sparks.md
2. **NVIDIA/TensorRT-LLM** — 1,6 · Ровно · Языковые модели · Python · +5 звёзд сегодня, к вечеру ≈ 9
   Библиотека NVIDIA для оптимизации инференса больших языковых моделей и визуальных генеративных моделей на GPU: Python API, специализированные ядра и эффективный рантайм на C++/Python.
   Полная карточка: https://gitnova.dev/r/NVIDIA/TensorRT-LLM.md
3. **NVIDIA/Model-Optimizer** — 4,3 · На пике · Языковые модели · Python · +17 звёзд сегодня, к вечеру ≈ 55
   Библиотека NVIDIA для сжатия и ускорения моделей: квантизация, прунинг, дистилляция, NAS и speculative decoding с экспортом в TensorRT-LLM, vLLM, SGLang. Для ML-инженеров, готовящих модели к деплою.
   Полная карточка: https://gitnova.dev/r/NVIDIA/Model-Optimizer.md
4. **incoai/splash** — 2,5 · Остывает · Языковые модели · C++ · +14 звёзд сегодня, к вечеру ≈ 32
   Локальный движок инференса LLM для Apple silicon, оптимизированный под конкретные модели: обслуживает OpenAI- и Anthropic-совместимые API для кодинг-агентов на одном Mac.
   Полная карточка: https://gitnova.dev/r/incoai/splash.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-09-28 13:02 UTC, обновление каждые 30 минут.