# microsoft/onnxruntime-genai

> Библиотека на C++ для запуска генеративных моделей (LLM) на устройстве через ONNX Runtime: реализует цикл генерации, pre/post-processing, работу с KV-кэшем, поиск и сэмплинг, поддержку грамматик для tool calling. API доступно на Python, C#, C/C++, Java.

- Магнитуда: 0,0 из 10 — Тихо
- Звёзды: 1 127 всего · +0 звёзд за 2026-09-28 (UTC), к вечеру ≈ 0
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: C++ · Лицензия: MIT · Создан: 2023-11-13 · Последний коммит: 2026-09-23
- GitHub: https://github.com/microsoft/onnxruntime-genai · Страница: https://gitnova.dev/r/microsoft/onnxruntime-genai

## Чем пригодится

- Запустить локально LLM вроде Phi, Llama или Qwen на CPU без облака
- Собрать десктопное или мобильное приложение с офлайн-генерацией текста на C#, Python или Java
- Ограничить вывод модели грамматикой для вызова инструментов через tool calling

## Почему он здесь

- Ровный фон без заметных изменений.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 356
- Issues и pull requests: 2 481
- Наблюдателей: 48
- В среднем за неделю: 0 в день
- Обычный темп: 1 в день
- Последний релиз: v0.16.0 (2026-09-22)

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-10-04 … 2026-11-02: None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None, None

## Магнитуда по дням за 12 дней

09-17 0,4, 09-18 0,8, 09-19 0,9, 09-20 0,6, 09-21 0,6, 09-22 0,1, 09-23 0,1, 09-24 0,0, 09-25 0,0, 09-26 0,0, 09-27 0,0, 09-28 0,0

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-09-28 10:29 UTC, обновление каждые 30 минут.