Dreamer-Toby/STEPQuant

Языковые моделиPython#large-language-models#llm#post-training-quantization#quantization

Другие действия

STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

О проекте

Метод пост-тренировочной квантизации рекуррентных состояний Delta-rule моделей: распределяет биты по юнитам состояния с учётом времени жизни ошибок и их влияния на выход. Нужен для снижения памяти при инференсе LLM с квантизованными состояниями.

Чем пригодится

Откалибровать план квантизации состояний для Qwen и запустить сервер через SGLang
Оценить точность long-generation задач при 4- и 6-битных состояниях против FP32
Сравнить потребление памяти при квантизации состояний с INT8 и INT6

Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.

0,3 Ровно Магнитуда из 10 — скорость роста интереса, а не оценка качества.

Рост звёзд выглядит естественно. Данные на 3 октября 2026, 01:56 UTC.

Оценка роста звёзд не подтверждает безопасность запуска.

Звёзды по дням

Столбики — звёзды за день; линия — скользящее среднее доступной истории. При короткой истории оно ещё не задаёт надёжный обычный темп. Красным — дни всплесков.

Почему он в тренде

Репозиторию 4 дня, а у него уже 54 звезды. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
Топ новых репозиториев за неделю: #198.

Посмотри похожие проекты

Niko1221/Strata
Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.
Та же категория: Языковые модели
StayLameBro/backburner
Форк llama.cpp, который подключает iPhone по USB-C к Mac и распределяет работу: Mac считает слои 1-40, iPhone — 41-64 на своём GPU, что ускоряет prefill и позволяет держать контекст до 196k-229k токенов. Нужен тем, кто…
Та же категория: Языковые модели
Kutuyyy/Leaked-System-Prompt-AI
Репозиторий собирает и документирует системные промпты, инструкции и определения инструментов крупных AI-моделей и агентских платформ (OpenAI, Anthropic, Google, Cursor, Devin и др.) для исследования их поведения.
Та же категория: Языковые модели

Три GitHub-находки каждый день

Что делают, почему набирают интерес и что проверить перед использованием.

Получать находки в Telegram Читать Daily Radar

Цифры

Всего звёзд: 54
Сегодня: 0 · к вечеру ≈ 1
Форков: 0
Issues и pull requests: 0
Наблюдателей: 0
Язык: Python
Создан: 29 сентября 2026
Последний коммит: 1 октября 2026

Доверие к звёздам

Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.

Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.

Где замечен

3 октября 2026Топ новых репозиториев за неделю: #192

Бейдж для README

Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.

[![Сейсмограф](https://gitnova.dev/badge/Dreamer-Toby/STEPQuant.svg)](https://gitnova.dev/r/Dreamer-Toby/STEPQuant)