NVIDIA/TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
О проекте
Библиотека NVIDIA для оптимизации инференса больших языковых моделей и визуальных генеративных моделей на GPU: Python API, специализированные ядра и эффективный рантайм на C++/Python.
Чем пригодится
- Развернуть высокопроизводительный сервер инференса LLM на NVIDIA GPU
- Ускорить генерацию видео и изображений через квантование и оптимизированные ядра
- Настроить спекулятивное декодирование и KV-кэш для снижения задержки
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 0 звёзд, к концу дня ожидается около 5.
- За последние двое суток темп в 1,6 раза выше, чем в предыдущие полторы недели.
- GitHub Trending Python за день: #5, +16 звёзд.
- Около 6 форков в сутки — код забирают себе.
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 14 663
- Звёзд за сутки
- 6
- Форков
- 2 761
- Issues и pull requests
- 19 205
- Наблюдателей
- 123
- Язык
- Python
- Последний релиз
- v1.3.0rc27 · 18 сентября 2026
- Создан
- 16 августа 2023
- Последний коммит
- 19 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 19 сентября 2026GitHub Trending Python за день: #5, +16 звёзд
Поделиться
Бейдж для README
Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.
[](https://gitnova.dev/r/NVIDIA/TensorRT-LLM)Похожие проекты
-
7,7
TheoLeeCJ/SemIf
Открытая реализация интерфейса семантических решений в стиле Jev: читает вероятности типизированных опций напрямую из логитов 4B-модели без генерации текста. Работает на одной RTX 3090.
-
7,4
TianyuCodings/NanoJev
Реплика модели Jev на базе Qwen3-0.6B: выдаёт распределения вероятностей по кандидатам за один forward-проход без декодирования токенов, с пайплайном обучения и демо на играх (лабиринт, Snake).
-
6,4
Continuum-AI-Corp/OrcaBonsai-27B-Uncensored
Инструмент для отключения отказов у сжатой LLM Ternary Bonsai 2 27B во время инференса: проекция residual-потока убирает направление отказа без изменения или переквантования весов. Работает на Apple Silicon через MLX.
-
6,1
jaredpalmer/kev
kev — LoRA-адаптер с небольшим readout-хедом на базе Qwen2.5-0.5B, который за один forward pass отвечает на множество типизированных вопросов по документу, выдавая калиброванные вероятности вместо текста.
-
6,0
githubnext/localjev
Локальный HTTP-сервис на TypeScript для Bun, реализующий Jev-совместимый API POST /v1/systemone поверх OpenAI-совместимого Chat Completions (DiffusionGemma через oMLX). Нужен как мост для типизированных решений без…
-
6,0
higgsfield-ai/higgsfield
Отказоустойчивый GPU-оркестратор и ML-фреймворк для распределённого обучения моделей с миллиардами и триллионами параметров, включая LLM. Управляет доступом к нодам, очередью экспериментов и интеграцией с GitHub Actions.