# navaneethkrishnansuresh/Inference-Engineering

> Практический курс по inference-инженерии LLM: разбирает, что происходит при обработке запроса — токенизация, prefill, decode, KV cache, планирование и батчинг. Для разработчиков, желающих понять runtime-сторону обслуживания моделей.

- Магнитуда: 0,0 из 10 — Тихо
- Звёзды: 118 всего · +0 звёзд за 2026-09-30 (UTC)
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: Jupyter Notebook · Создан: 2026-09-14 · Последний коммит: 2026-09-25
- GitHub: https://github.com/navaneethkrishnansuresh/Inference-Engineering · Страница: https://gitnova.dev/r/navaneethkrishnansuresh/Inference-Engineering

## Чем пригодится

- Пройти главу 1, чтобы вручную реализовать генерацию токенов LLM с нуля
- Изучить, как растёт KV cache и где расходуется память GPU при инференсе
- Разобраться в планировании запросов и continuous batching для повышения throughput

## Почему он здесь

- Репозиторию 16 дней, а у него уже 118 звёзд.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 10
- Issues и pull requests: 4
- Наблюдателей: 3
- В среднем за неделю: 1 в день
- Обычный темп: 6 в день

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-10-04 … 2026-11-02: None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None

## Магнитуда по дням за 14 дней

09-17 1,7, 09-18 1,1, 09-19 1,3, 09-20 0,6, 09-21 0,8, 09-22 1,0, 09-23 0,8, 09-24 0,5, 09-25 0,5, 09-26 0,7, 09-27 0,7, 09-28 0,4, 09-29 0,0, 09-30 0,0

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-09-30 23:58 UTC, обновление каждые 30 минут.