microsoft/onnxruntime-genai
Generative AI extensions for onnxruntime
О проекте
Библиотека на C++ для запуска генеративных моделей (LLM) на устройстве через ONNX Runtime: реализует цикл генерации, pre/post-processing, работу с KV-кэшем, поиск и сэмплинг, поддержку грамматик для tool calling. API доступно на Python, C#, C/C++, Java.
Чем пригодится
- Запустить локально LLM вроде Phi, Llama или Qwen на CPU без облака
- Собрать десктопное или мобильное приложение с офлайн-генерацией текста на C#, Python или Java
- Ограничить вывод модели грамматикой для вызова инструментов через tool calling
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 2 звезды, к концу дня ожидается около 2.
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 1 124
- Звёзд за сутки
- 2
- Форков
- 355
- Issues и pull requests
- 2 463
- Наблюдателей
- 47
- Язык
- C++
- Лицензия
- MIT
- Последний релиз
- v0.15.2 · 7 августа 2026
- Создан
- 13 ноября 2023
- Последний коммит
- 18 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 18 сентября 2026GitHub Trending C++ за день: #16, +1 звезда
- 17 сентября 2026GitHub Trending C++ за день: #16, +1 звезда
Поделиться
Бейдж для README
Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.
[](https://gitnova.dev/r/microsoft/onnxruntime-genai)Похожие проекты
-
8,6
TheoLeeCJ/SemIf
Открытая реализация интерфейса семантических решений в стиле Jev: читает вероятности типизированных опций напрямую из логитов 4B-модели без генерации текста. Работает на одной RTX 3090.
-
7,1
vinnylarouge/jevlike
Небольшая обучаемая модель, выбирающая один вариант из меняющегося списка текстовых опций за один проход — открытая альтернатива коммерческой Jev от TypeSafe. Для разработчиков, кому нужна быстрая классификация или…
-
6,9
Continuum-AI-Corp/OrcaBonsai-27B-Uncensored
Инструмент для отключения отказов у сжатой LLM Ternary Bonsai 2 27B во время инференса: проекция residual-потока убирает направление отказа без изменения или переквантования весов. Работает на Apple Silicon через MLX.
-
6,4
TianyuCodings/NanoJev
Реплика модели Jev на базе Qwen3-0.6B: выдаёт распределения вероятностей по кандидатам за один forward-проход без декодирования токенов, с пайплайном обучения и демо на играх (лабиринт, Snake).
-
6,3
zhengkid/Dream-RSI
Исследовательский проект о рекурсивном самоулучшении: история прошлых циклов поиска превращается в replay-симулятор, по которому оценивают и улучшают стратегии исследования. Код ещё готовится к публикации, доступны…
-
5,0
ekzhang/openjev-sglang
HTTP-сервер, реализующий API TypeSafe/Jev для структурированной классификации текста на базе Qwen3.6-35B-A3B и SGLang; возвращает вероятности ответов без генерации цепочки рассуждений.