mode-io/vllm-jev
Native vLLM serving for Jev decision models
О проекте
Сервер на базе vLLM для Jev-моделей принятия решений: принимает вопрос и варианты ответа, возвращает метку и вероятность для каждого варианта. Работает на Linux с NVIDIA GPU и на Apple Silicon через MLX/MPS.
Чем пригодится
- Развернуть HTTP-сервер для классификации интентов клиентских обращений по вариантам ответа
- Запустить локальный инференс Valen на Mac для ответов на вопросы по изображениям
- Обрабатывать 40 параллельных текстовых Choice-запросов на одной A800
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 18 звёзд, к концу дня ожидается около 29.
- Всплеск держится 3 дня подряд — это не случайный выброс.
- Репозиторию 5 дней, а у него уже 96 звёзд. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
- Топ новых репозиториев за неделю: #166.
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 96
- Сегодня
- 18 · к вечеру ≈ 29
- Форков
- 2
- Issues и pull requests
- 1
- Наблюдателей
- 1
- Язык
- Python
- Лицензия
- Apache-2.0
- Создан
- 24 сентября 2026
- Последний коммит
- 27 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 29 сентября 2026Топ новых репозиториев за неделю: #166
Похожие по описанию
-
8,2
firelex/jeff
Небольшие дообученные модели Qwen3.5 и Gemma 4 для zero-shot классификации: по описанию ситуации и списку вариантов возвращают калиброванную вероятность для каждого варианта за один forward pass.
-
4,3
Liuziyu77/Valen
Мультимодальная модель принятия решений на базе Qwen3.5-0.8B/2B: принимает текст, изображения и видео с инструкцией и возвращает вероятности по заданным вариантам без генерации токенов ответа. Включает код модели,…
-
0,6
ekzhang/openjev-sglang
HTTP-сервер, реализующий API TypeSafe/Jev для структурированной классификации текста на базе Qwen3.6-35B-A3B и SGLang; возвращает вероятности ответов без генерации цепочки рассуждений.
-
1,8
bespokelabsai/nimble
Nimble — модель и рецепт обучения для быстрых типизированных решений по тексту: по схеме из enum- и boolean-полей она выбирает ответ и возвращает вероятности каждого варианта. Нужна для маршрутизации, проверки условий…
-
0,6
zhulinchng/jevper
Обёртка над OpenAI-совместимыми клиентами для классификации: вместо текстового ответа возвращает типизированные вопросы (noul, choice, score) с вероятностями и уверенностью. Работает с любым клиентом, имеющим…
-
0,8
kshetrajna12/reflex
Открытая модель принятия решений: на вход подаётся состояние (текст, JSON или изображение) и типизированные вопросы, на выходе — калиброванные вероятности по вариантам ответа. Работает поверх Qwen3.5, отвечает числами…