SemiAnalysisAI/InferenceX

Open Source Inference Research Platform Standard / 开源推理研究平台

Языковые моделиPython#pytorch#sglang#vllm#amd#cuda

1,4 Ровно Магнитуда из 10 — скорость роста интереса, а не оценка качества. Рост звёзд выглядит естественно. Данные на 29 сентября 2026, 12:30 UTC.

Открыть на Сейсмографе Открыть на GitHub

О проекте

Открытая платформа для непрерывного бенчмаркинга инференса LLM: измеряет производительность SGLang, vLLM, TensorRT-LLM на GPU NVIDIA, AMD и TPU и публикует живые результаты на дашборде.

Чем пригодится

Запустить бенчмарки end-to-end инференса для сравнения SGLang и vLLM на своих GPU
Проверить производительность новых релизов CUDA или ROCm на поддерживаемых SKU
Оценить энергопотребление системы через power_model для планирования дата-центра

Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.

Почему он в тренде

Сегодня уже 3 звезды, к концу дня ожидается около 7.
GitHub Trending Python за день: #6, +8 звёзд.

Звёзды по дням

Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.

Цифры

Всего звёзд: 1 783
Сегодня: 3 · к вечеру ≈ 7
Форков: 309
Issues и pull requests: 3 549
Наблюдателей: 14
Язык: Python
Лицензия: Apache-2.0
Последний релиз: tilert-v0.1.5.post2-inferencex.1 · 19 августа 2026
Создан: 12 июля 2025
Последний коммит: 29 сентября 2026

Доверие к звёздам

Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.

Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.

Где замечен

29 сентября 2026GitHub Trending Python за день: #6, +8 звёзд

Бейдж для README

Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.

[![Сейсмограф](https://gitnova.dev/badge/SemiAnalysisAI/InferenceX.svg)](https://gitnova.dev/r/SemiAnalysisAI/InferenceX)

Ещё в этой категории

8,2
firelex/jeff
Небольшие дообученные модели Qwen3.5 и Gemma 4 для zero-shot классификации: по описанию ситуации и списку вариантов возвращают калиброванную вероятность для каждого варианта за один forward pass.

Ранний сигналЯзыковые моделиPython+219 звёзд сегодня, к вечеру ≈ 466
7,4
VectifyAI/PageIndex
Движок RAG без векторной базы: строит иерархический древовидный индекс документа и ищет по нему рассуждениями LLM, как человек по оглавлению. Для длинных профессиональных PDF — финансовых, юридических, технических.

ВзлётЯзыковые моделиPython+225 звёзд сегодня, к вечеру ≈ 486
7,2
Niko1221/Strata
Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.

Ранний сигналЯзыковые моделиC+++144 звезды сегодня, к вечеру ≈ 360
5,6
ollaya-dev/ollaya
Локальный рантайм для decision-моделей: скачивает и обслуживает модели классификации и маршрутизации через API, совместимый с TypeSafe. Аналог Ollama, но для моделей, возвращающих вероятности, а не текст.

Ранний сигналЯзыковые моделиRust+34 звезды сегодня, к вечеру ≈ 89
5,3
PostHog/jeeves
Jeeves — это reasoning-модель на базе Qwen3.5-9B (LoRA + pointer head), обученная через SFT и CISPO, которая перед ответом рассуждает и выдаёт калиброванные вероятности для yes/no, multiple-choice и rating вопросов…

Ранний сигналЯзыковые моделиPython+39 звёзд сегодня, к вечеру ≈ 58
4,9
deepfates/imp
Порт DSPy на BEAM: декларативные LM-программы на Elixir с сигнатурами, оптимизаторами и агентами, работающими как OTP-процессы.

Ранний сигналЯзыковые моделиElixir+1 звезда сегодня, к вечеру ≈ 13