# vllm-project/semantic-router

> Программируемый слой маршрутизации запросов между разными LLM: выбирает или комбинирует модели по сигналам запроса, предпочтениям пользователя и политикам приложения. Помогает управлять качеством, стоимостью, задержкой, приватностью и безопасностью без жёсткого кодирования логики в приложениях.

- Магнитуда: 2,7 из 10 — Ровно
- Звёзды: 5 978 всего · +4 звезды сегодня, к вечеру ≈ 12
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: Go · Лицензия: Apache-2.0 · Создан: 2025-08-26 · Последний коммит: 2026-09-29
- GitHub: https://github.com/vllm-project/semantic-router · Сайт: https://vllm-sr.ai · Страница: https://gitnova.dev/r/vllm-project/semantic-router

## Чем пригодится

- Направить запросы с чувствительными данными на приватные или edge-модели, а остальные — в облако
- Снизить стоимость инференса, маршрутизируя простые запросы на дешёвые модели, а сложные — на сильные
- Задать политики выбора модели под конкретных пользователей и типы рабочих нагрузок

## Почему он здесь

- Сегодня уже 4 звезды, к концу дня ожидается около 12.
- За последние двое суток темп в 2,8 раза выше, чем в предыдущие полторы недели.
- GitHub Trending Go за день: #4, +22 звезды.
- Среди свежих форков — заметные разработчики: @strategist922 (894 подп.), @ItsRoy69 (245 подп.).

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 990
- Issues и pull requests: 4 355
- Наблюдателей: 63
- В среднем за неделю: 13 в день
- Обычный темп: 17 в день
- Звёзд за последний час (по замерам): 0
- Последний релиз: v0.4.0 (2026-09-27)

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-08-31 … 2026-09-29: 27, 22, 23, 34, 32, 28, 28, 26, 27, 23, 18, 21, 20, 24, 23, 30, 11, 4, 8, 8, 9, 16, 10, 5, 8, 3, 3, 27, 31, 4

## Где замечен сейчас

- GitHub Trending Go за день: #4, +22 звезды

## Ещё в этой категории

1. **firelex/jeff** — 8,2 · Ранний сигнал · Языковые модели · Python · +255 звёзд сегодня, к вечеру ≈ 486
   Небольшие дообученные модели Qwen3.5 и Gemma 4 для zero-shot классификации: по описанию ситуации и списку вариантов возвращают калиброванную вероятность для каждого варианта за один forward pass.
   Полная карточка: https://gitnova.dev/r/firelex/jeff.md
2. **VectifyAI/PageIndex** — 7,4 · Взлёт · Языковые модели · Python · +285 звёзд сегодня, к вечеру ≈ 538
   Движок RAG без векторной базы: строит иерархический древовидный индекс документа и ищет по нему рассуждениями LLM, как человек по оглавлению. Для длинных профессиональных PDF — финансовых, юридических, технических.
   Полная карточка: https://gitnova.dev/r/VectifyAI/PageIndex.md
3. **Niko1221/Strata** — 7,2 · Ранний сигнал · Языковые модели · C++ · +183 звезды сегодня, к вечеру ≈ 387
   Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.
   Полная карточка: https://gitnova.dev/r/Niko1221/Strata.md
4. **PostHog/jeeves** — 6,6 · Ранний сигнал · Языковые модели · Python · +83 звезды сегодня, к вечеру ≈ 119
   Jeeves — это reasoning-модель на базе Qwen3.5-9B (LoRA + pointer head), обученная через SFT и CISPO, которая перед ответом рассуждает и выдаёт калиброванные вероятности для yes/no, multiple-choice и rating вопросов через Jev-совместимый…
   Полная карточка: https://gitnova.dev/r/PostHog/jeeves.md
5. **ollaya-dev/ollaya** — 5,6 · Ранний сигнал · Языковые модели · Rust · +40 звёзд сегодня, к вечеру ≈ 90
   Локальный рантайм для decision-моделей: скачивает и обслуживает модели классификации и маршрутизации через API, совместимый с TypeSafe. Аналог Ollama, но для моделей, возвращающих вероятности, а не текст.
   Полная карточка: https://gitnova.dev/r/ollaya-dev/ollaya.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-09-29 13:28 UTC, обновление каждые 30 минут.