syv-ai/qwen38-27b-rtx3090
Qwen3.8-27B on a single RTX 3090 with vLLM: ~1,000 tok/s at 64 concurrent (int8 tensor-core GEMMs, fp16 DeltaNet state), ~114 tok/s single-user at default sampling / ~124 greedy (MTP drafts, own-output draft vocab, calibrated int4 lm_head, split-KV verify attention), 150k-262k context; patches, requant scripts, benchmarks
О проекте
Готовый набор для запуска Qwen3.8-27B на одной потребительской RTX 3090 (24 ГБ) через vLLM: 150k контекст, OpenAI-совместимый API, режимы single-user и batch, патчи, скрипты переквантования и бенчмарки.
Чем пригодится
- Поднять локальный OpenAI-совместимый сервер с Qwen3.8-27B на одной RTX 3090
- Выбрать режим batch для API-бэкенда с десятками параллельных запросов
- Включить DFlash2 и prefix cache для ускорения ответов, цитирующих промпт
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня 22 звезды.
- Интерес спадает: темп за двое суток — 58% от уровня предыдущих полутора недель.
- Репозиторию 29 дней, а у него уже 1 349 звёзд.
- Топ новых репозиториев за месяц: #48.
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 1 349
- Звёзд за сутки
- 22
- Форков
- 190
- Issues и pull requests
- 108
- Наблюдателей
- 17
- Язык
- Python
- Лицензия
- Apache-2.0
- Создан
- 15 августа 2026
- Последний коммит
- 13 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 13 сентября 2026Топ новых репозиториев за месяц: #48
Поделиться
Бейдж для README
Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.
[](https://gitnova.dev/r/syv-ai/qwen38-27b-rtx3090)Похожие проекты
-
6,1
JustVugg/colibri
Инференс-движок на чистом C без зависимостей для запуска больших MoE-моделей (744B–2.8T параметров) на потребительском железе за счёт многоуровневой памяти: VRAM, RAM и диск как единая иерархия для стриминга экспертов.
-
5,7
asgeirtj/system_prompts_leaks
Коллекция извлечённых системных промптов от Anthropic, OpenAI, Google, xAI и других — скрытых инструкций, которые получают чат-боты до первого сообщения пользователя.
-
5,1
kennethwolters/litelm
Облегчённая альтернатива litellm: маршрутизация вызовов LLM между 19 провайдерами и трансляция форматов сообщений в ~2900 строк с двумя зависимостями, без прокси, кэша и трекинга затрат.
-
5,0
MiaAI-Lab/DeepSeek-v4.1-Flash-EXL3-2x-DGX-Sparks
Локальный чекпоинт DeepSeek-V4.1-Flash в квантовании EXL3 2.9 bpw (196 GiB, 39 шардов) для запуска через vLLM с OpenAI-совместимым API на двух NVIDIA GB10 (DGX Spark) с tensor-parallel 2. Включает спекулятивное…
-
4,8
unclecode/crawl4ai
Открытый веб-краулер и скрапер, преобразующий страницы в чистый Markdown, готовый для LLM, RAG и агентов. Работает через Python API, CLI и Docker без API-ключей.
-
4,5
Edge0-AI/Edge0
Открытый фреймворк для стримингового инференса MoE-моделей: эксперты выгружаются с SSD по требованию, а обученный prerouter предсказывает маршрутизацию заранее. Работает на Apple Silicon через MLX, поставляется с двумя…