# lyogavin/airllm

> Библиотека для инференса и обучения больших языковых моделей на GPU с малым объёмом памяти: послойно стримит веса с диска, позволяя запускать модели на 70B–671B на 4–12 ГБ VRAM без квантизации и дистилляции.

- Магнитуда: 4,9 из 10 — Взлёт
- Звёзды: 36 117 всего · +29 звёзд по замерам 2026-10-11, 11:04–12:27 UTC, к вечеру ≈ 146
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: Jupyter Notebook · Лицензия: Apache-2.0 · Создан: 2023-06-12 · Последний коммит: 2026-10-11
- GitHub: https://github.com/lyogavin/airllm · Страница: https://gitnova.dev/r/lyogavin/airllm

## Чем пригодится

- Запустить Llama 3 70B или DeepSeek-V3 локально на одной потребительской GPU с 4–12 ГБ памяти
- Ускорить инференс в 3 раза, включив 4bit/8bit блочную квантизацию через bitsandbytes
- Дообучить 125B-модель на RTX 3060 Ti, оставив адаптеры на GPU и стримя замороженные слои

## Почему он здесь

- По замерам счётчика за 2026-10-11 (UTC), 11:04–12:27: 36088 → 36117 звёзд (+29). Это прирост за указанный интервал.
- Расчётный прогноз на конец суток: около +146 звёзд; учитывает наблюдаемый прирост и предыдущий день.
- За последние двое суток темп в 7,4 раза выше, чем в предыдущие полторы недели.
- GitHub Trending за день: #7, +541 звезда.
- Около 41 форков в сутки — код забирают себе.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 3 791
- Issues и pull requests: 332
- Наблюдателей: 302
- В среднем за неделю: 113 в день
- Обычный темп: 61 в день
- Звёзд за последний час (по замерам): 21
- Последний релиз: v4.0.0 (2026-09-05)

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-09-12 … 2026-10-11: 53, 73, 55, 37, 55, 69, 51, 44, 44, 58, 41, 44, 33, 170, 94, 102, 51, 51, 44, 27, 25, 57, 47, 44, 41, 35, 28, 36, 463, 29

## Где замечен сейчас

- GitHub Trending за день: #7, +541 звезда

## Ещё в этой категории

1. **pytorch/pytorch** — 5,4 · Взлёт · Языковые модели · Python · +131 звезда по замерам 2026-10-11, 00:39–12:27 UTC, к вечеру ≈ 237
   PyTorch — библиотека для вычислений на тензорах с ускорением на GPU и построения динамических нейросетей через tape-based autograd. Используется как замена NumPy с GPU и как платформа для исследований в глубоком обучении.
   Полная карточка: https://gitnova.dev/r/pytorch/pytorch.md
2. **huggingface/transformers** — 5,3 · Взлёт · Языковые модели · Python · +237 звёзд по замерам 2026-10-11, 00:38–12:27 UTC, к вечеру ≈ 446
   Фреймворк для определения и запуска предобученных ML-моделей (текст, зрение, аудио, мультимодальные) для инференса и обучения, совместимый с большинством тренировочных и инференс-движков.
   Полная карточка: https://gitnova.dev/r/huggingface/transformers.md
3. **NandhaKishorM/vegaml** — 5,2 · Ранний сигнал · Языковые модели · Python · +29 звёзд по замерам 2026-10-11, 02:45–12:27 UTC, к вечеру ≈ 71
   Библиотека для типизированных решений на основе замороженной языковой модели и физического движка: возвращает выбор, оценку или вероятность с калибровкой, conformal-множеством и флагом abstain. Поддерживает 73k контекста и изображения,…
   Полная карточка: https://gitnova.dev/r/NandhaKishorM/vegaml.md
4. **Albert-Weasker/niubigeo** — 5,0 · Взлёт · Языковые модели · TypeScript · +182 звезды по замерам 2026-10-11, 00:38–12:27 UTC, к вечеру ≈ 429
   Открытый инструмент для отслеживания видимости бренда и конкурентов в ответах AI-моделей: по домену показывает, как модели описывают продукт, кого рекомендуют и на какие источники ссылаются.
   Полная карточка: https://gitnova.dev/r/Albert-Weasker/niubigeo.md
5. **microsoft/BitNet** — 5,0 · Взлёт · Языковые модели · C++ · +9 звёзд по замерам 2026-10-11, 11:12–12:27 UTC, к вечеру ≈ 62
   Официальный фреймворк инференса для 1-bit LLM (BitNet b1.58) с оптимизированными ядрами для CPU и GPU. Позволяет запускать тернарные модели быстро и без потери качества, в том числе 100B-модель на одном CPU.
   Полная карточка: https://gitnova.dev/r/microsoft/BitNet.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-10-11 12:38 UTC, обновление каждые 30 минут.