# SamsungLabs/LittleBit

> Официальная реализация LittleBit (NeurIPS 2025) и LittleBit-2 (ICML 2026) — методов суб-1-битного квантования LLM через факторизацию весов на низкоранговые латентные факторы с бинаризацией и обучаемыми масштабами.

- Магнитуда: 2,9 из 10 — Ровно
- Звёзды: 107 всего · +12 звёзд по замерам 2026-10-08, 16:51–18:02 UTC, к вечеру ≈ 15
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: Python · Создан: 2025-11-18 · Последний коммит: 2026-05-06
- GitHub: https://github.com/SamsungLabs/LittleBit · Страница: https://gitnova.dev/r/SamsungLabs/LittleBit

## Чем пригодится

- Сжать Llama 2 7B до 1.0 или 0.1 бита на вес через QAT с SmoothSign
- Включить инициализацию Joint-ITQ флагом --use_itq для улучшения геометрии латентов
- Оценить чекпоинт по perplexity на wikitext2/c4 и zeroshot-задачам через eval.py

## Почему он здесь

- По замерам счётчика за 2026-10-08 (UTC), 16:51–18:02: 95 → 107 звёзд (+12). Это прирост за указанный интервал.
- Расчётный прогноз на конец суток: около +15 звёзд; учитывает наблюдаемый прирост и предыдущий день.
- Hacker News: «Sub-1-Bit LLM Compression via Latent Factorization» — 58 очков, 4 ч назад.
- Среди свежих форков — заметные разработчики: @alexdolbun (708 подп.), @danzeeeman (263 подп.).

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 16
- Issues и pull requests: 21
- Наблюдателей: 3
- В среднем за неделю: 2 в день
- Обычный темп: 0 в день
- Звёзд за последний час (по замерам): 10

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-09-09 … 2026-10-08: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 12

## Hacker News

- Sub-1-Bit LLM Compression via Latent Factorization — 58 очков, 8 комментариев: https://news.ycombinator.com/item?id=50005608

## Где замечен сейчас

- Замечен на Hacker News

## Ещё в этой категории

1. **Niko1221/Strata** — 5,7 · На пике · Языковые модели · C++ · +1 214 звёзд по замерам 2026-10-08, 00:01–17:58 UTC, к вечеру ≈ 1 579
   Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.
   Полная карточка: https://gitnova.dev/r/Niko1221/Strata.md
2. **mw00/project-maya** — 4,9 · Ранний сигнал · Языковые модели · C++ · +43 звезды по замерам 2026-10-08, 04:56–17:58 UTC, к вечеру ≈ 58
   Локальный движок, сервер и дашборд для запуска 321B MoE-модели GLM-5.3-Flash на одной или двух NVIDIA GPU с выгрузкой экспертов в RAM и NVMe.
   Полная карточка: https://gitnova.dev/r/mw00/project-maya.md
3. **Edge0-AI/Edge0** — 4,4 · Взлёт · Языковые модели · Python · +216 звёзд по замерам 2026-10-08, 00:03–17:59 UTC, к вечеру ≈ 280
   Открытый фреймворк для стримингового инференса MoE-моделей: эксперты выгружаются с SSD по требованию, а обученный prerouter предсказывает маршрутизацию заранее. Работает на Apple Silicon через MLX, поставляется с двумя готовыми моделями…
   Полная карточка: https://gitnova.dev/r/Edge0-AI/Edge0.md
4. **deepseek-ai/DeepGEMM** — 4,3 · На пике · Языковые модели · Cuda · +16 звёзд по замерам 2026-10-08, 00:01–17:59 UTC, к вечеру ≈ 24
   Библиотека CUDA-ядер для тензорных ядер GPU: GEMM (FP8, FP4, BF16), fused MoE, MQA-скоринг для indexer. Ядра компилируются в рантайме через DeepJIT, установка без сборки CUDA.
   Полная карточка: https://gitnova.dev/r/deepseek-ai/DeepGEMM.md
5. **StayLameBro/backburner** — 4,2 · Остывает · Языковые модели · Python · +40 звёзд по замерам 2026-10-08, 00:02–17:59 UTC, к вечеру ≈ 53
   Форк llama.cpp, который подключает iPhone по USB-C к Mac и распределяет работу: Mac считает слои 1-40, iPhone — 41-64 на своём GPU, что ускоряет prefill и позволяет держать контекст до 196k-229k токенов. Нужен тем, кто запускает Qwen3-27B…
   Полная карточка: https://gitnova.dev/r/StayLameBro/backburner.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-10-08 18:19 UTC, обновление каждые 30 минут.