ai-dynamo/dynamo
A Datacenter Scale Distributed Inference Serving Framework
О проекте
Dynamo — открытый оркестратор инференса для датацентров: надстройка над SGLang, TensorRT-LLM и vLLM, превращающая кластер GPU в согласованную систему с disaggregated serving, KV-aware маршрутизацией и автоскейлингом.
Чем пригодится
- Развернуть мультинодовый инференс LLM с раздельными пулами prefill и decode
- Настроить KV-aware маршрутизацию для снижения времени до первого токена
- Подобрать конфигурацию развёртывания офлайн через AISimulate без запуска GPU-кластера
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 3 звезды, к концу дня ожидается около 6.
- GitHub Trending Rust за день: #6, +6 звёзд.
- Около 6 форков в сутки — код забирают себе.
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 8 187
- Сегодня
- 3 · к вечеру ≈ 6
- Форков
- 1 643
- Issues и pull requests
- 15 285
- Наблюдателей
- 78
- Язык
- Rust
- Последний релиз
- v1.5.0 · 21 сентября 2026
- Создан
- 3 марта 2025
- Последний коммит
- 30 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 30 сентября 2026GitHub Trending Rust за день: #6, +6 звёзд
Похожие по описанию
-
1,1
kserve/kserve
KServe — платформа для развёртывания и обслуживания моделей генеративного и предиктивного ИИ в Kubernetes с поддержкой множества фреймворков, автоскейлинга и стандартизированного протокола инференса.
-
1,5
kvcache-ai/Mooncake
Платформа для обслуживания LLM с KVCache-центричной дезагрегированной архитектурой: разделяет prefill и decode, передаёт KV-кэш между узлами через RDMA. Используется в продакшене Kimi от Moonshot AI.
-
2,5
kubernetes/kubernetes
Kubernetes — открытая система оркестрации контейнеров для развёртывания, масштабирования и управления контейнеризированными приложениями на множестве хостов.