# FlashML-org/FreeToken

> Движок инференса Mixture-of-Experts для запуска крупных открытых MoE-моделей (290B+) на потребительском железе — GPU, CPU и оперативной памяти. Нужен тем, кто хочет гонять фронтирные модели локально.

- Магнитуда: 1,7 из 10 — Ровно
- Звёзды: 14 813 всего · +1 звезда по замерам 2026-10-29, 00:09–05:47 UTC, к вечеру ≈ 12
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: Python · Лицензия: Apache-2.0 · Создан: 2026-07-20 · Последний коммит: 2026-10-29
- GitHub: https://github.com/FlashML-org/FreeToken · Сайт: flashml.ai · Страница: https://gitnova.dev/r/FlashML-org/FreeToken

## Чем пригодится

- Запустить крупную MoE-модель локально на игровом ПК через GUI-приложение или CLI.
- Подключить локальную модель к кодинг-агенту (Codex, Claude Code) через OpenAI/Anthropic-совместимый API.
- Перераспределить VRAM между кэшем экспертов и KV-кэшем без перезапуска движка.

## Почему он здесь

- По замерам счётчика за 2026-10-29 (UTC), 00:09–05:47: 14812 → 14813 звёзд (+1). Это прирост за указанный интервал.
- Расчётный прогноз на конец суток: около +12 звёзд; учитывает наблюдаемый прирост и предыдущий день.
- Интерес спадает: темп за двое суток — 56% от уровня предыдущих полутора недель.
- Топ новых репозиториев за 4 месяца: #37.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 1 500
- Issues и pull requests: 839
- Наблюдателей: 96
- В среднем за неделю: 21 в день
- Обычный темп: 41 в день
- Звёзд за последний час (по замерам): 0
- Последний релиз: nightly (2026-09-09)

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-09-30 … 2026-10-29: 47, 58, 36, 18, 54, 30, 32, 29, 36, 36, 45, 38, 45, 39, 27, 33, 17, 21, 25, 35, 45, 35, 20, 28, 26, 24, 19, 17, 18, 1

## Магнитуда по дням за 14 дней

10-16 2,4, 10-17 2,0, 10-18 2,1, 10-19 2,0, 10-20 2,5, 10-21 2,4, 10-22 2,3, 10-23 2,0, 10-24 2,2, 10-25 2,1, 10-26 1,8, 10-27 1,8, 10-28 1,9, 10-29 1,8

## Где замечен сейчас

- Топ новых репозиториев за 4 месяца: #37

## Похожие по описанию

1. **vllm-project/vllm** — 3,2 · Ровно · Языковые модели · Python · +25 звёзд по замерам 2026-10-29, 00:05–05:43 UTC, к вечеру ≈ 95
   Высокопроизводительный движок для инференса и обслуживания больших языковых моделей с эффективным управлением памятью через PagedAttention. Поддерживает 200+ архитектур моделей и OpenAI-совместимый API.
   Полная карточка: https://gitnova.dev/r/vllm-project/vllm.md
2. **mw00/project-maya** — 2,6 · Ровно · Языковые модели · Cuda · +8 звёзд по замерам 2026-10-29, 00:05–05:44 UTC, к вечеру ≈ 49
   Локальный движок, сервер и дашборд для запуска 321B MoE-модели GLM-5.3-Flash на одной или двух NVIDIA GPU с выгрузкой экспертов в RAM и NVMe.
   Полная карточка: https://gitnova.dev/r/mw00/project-maya.md
3. **ValerioDolci/capy-flash** — 0,8 · Ровно · Языковые модели · C++ · +0 звёзд по замерам 2026-10-29, 00:11–05:50 UTC, к вечеру ≈ 2
   Инференс-движок на C++ для запуска большой MoE-модели Qwen3.8-Flash-Next (125B) в NVFP4 на двух потребительских GPU по 16 ГБ: эксперты выгружаются в RAM и считаются на CPU, остальное идёт tensor parallel. Также обслуживает плотную…
   Полная карточка: https://gitnova.dev/r/ValerioDolci/capy-flash.md
4. **ggml-org/llama.cpp** — 3,3 · Ровно · Языковые модели · C++ · +20 звёзд по замерам 2026-10-29, 00:04–05:43 UTC, к вечеру ≈ 105
   Реализация инференса LLM и VLM на C/C++ без зависимостей, работающая на CPU и GPU разного железа. Позволяет запускать модели локально с минимальной настройкой и квантованием.
   Полная карточка: https://gitnova.dev/r/ggml-org/llama.cpp.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-10-29 05:52 UTC, обновление каждые 30 минут.