sgl-project/sglang
SGLang is a high-performance serving framework for large language models and multimodal models.
О проекте
SGLang — открытый фреймворк для быстрого инференса больших языковых и мультимодальных моделей, оптимизированный под агентные нагрузки, RL-rollout и крупномасштабное обслуживание.
Чем пригодится
- Запустить локальный сервер инференса для Llama или DeepSeek через Docker-образ lmsysorg/sglang
- Развернуть обслуживание мультимодальной VLM-модели на нескольких GPU с балансировкой нагрузки
- Использовать SGLang как бэкенд для генерации rollout-ов в RL-обучении через Miles или verl
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 13 звёзд, к концу дня ожидается около 31.
- GitHub Trending Python за день: #19, +39 звёзд.
- Около 18 форков в сутки — код забирают себе.
- Среди свежих форков — заметные разработчики: @bvolpato (1 763 подп.), @geelen (1 536 подп.).
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 36 691
- Сегодня
- 13 · к вечеру ≈ 31
- Форков
- 9 250
- Issues и pull requests
- 41 552
- Наблюдателей
- 184
- Язык
- Python
- Лицензия
- Apache-2.0
- Последний релиз
- v0.5.20 · 18 сентября 2026
- Создан
- 8 января 2024
- Последний коммит
- 1 октября 2026
Доверие к звёздам
Звёзды растут нетипично. Магнитуда понижена, но не обнулена:
- Звёзды пришли пачкой за один день (1 248) и сразу оборвались: за следующие два дня — 93. Живой интерес обычно затухает плавно.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 1 октября 2026GitHub Trending Python за день: #19, +39 звёзд
Поделиться
Бейдж для README
Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.
[](https://gitnova.dev/r/sgl-project/sglang)Похожие по описанию
-
1,2
vllm-project/vllm-ascend
Аппаратный плагин для vLLM, позволяющий запускать инференс LLM на NPU Ascend (Atlas A2/A3). Нужен для развёртывания Transformer, MoE, embedding и мультимодальных моделей на оборудовании Huawei Ascend.
-
0,9
kserve/kserve
KServe — платформа для развёртывания и обслуживания моделей генеративного и предиктивного ИИ в Kubernetes с поддержкой множества фреймворков, автоскейлинга и стандартизированного протокола инференса.
-
1,7
microsoft/onnxruntime
Кроссплатформенный ускоритель инференса и обучения ML-моделей. Запускает модели из PyTorch, TensorFlow, scikit-learn и других через формат ONNX с оптимизацией графа и аппаратным ускорением.
-
1,5
amitshekhariitbhu/ai-system-design
Учебное руководство по проектированию AI-систем на базе LLM, RAG и агентов: от инференса и GPU до MCP, мультиагентных систем и подготовки к интервью.
-
1,7
ml-explore/mlx
MLX — фреймворк для массивов и машинного обучения от Apple, оптимизированный под Apple silicon с единой памятью и ленивыми вычислениями. API на Python, C++, C и Swift повторяет NumPy и PyTorch, что упрощает обучение и…
-
0,4
openxla/xla
XLA (Accelerated Linear Algebra) — открытый ML-компилятор для GPU, CPU и ML-ускорителей. Принимает модели из PyTorch, TensorFlow и JAX и оптимизирует их под высокопроизводительное выполнение на разном железе.