EricLBuehler/mistral.rs
Fast, flexible LLM inference
О проекте
Rust-движок для инференса LLM с автоматической загрузкой моделей, мультимодальностью (текст, изображения, видео, аудио), квантизацией и OpenAI/Anthropic-совместимым сервером.
Чем пригодится
- Запустить локальную модель через CLI для интерактивного чата или одиночного запроса
- Поднять OpenAI-совместимый API-сервер с веб-UI для своих приложений
- Загрузить GGUF-файл или квантизованную модель и прогнать инференс на своём железе
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 1 звезда, к концу дня ожидается около 3.
- GitHub Trending Rust за день: #9, +4 звезды.
- Среди свежих форков — заметные разработчики: @tobert (302 подп.), @lizzz0523 (207 подп.).
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 7 703
- Звёзд за сутки
- 3
- Форков
- 708
- Issues и pull requests
- 2 384
- Наблюдателей
- 46
- Язык
- Rust
- Лицензия
- MIT
- Последний релиз
- v0.9.3 · 7 сентября 2026
- Создан
- 26 февраля 2024
- Последний коммит
- 8 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 19 сентября 2026GitHub Trending Rust за день: #9, +4 звезды
Поделиться
Бейдж для README
Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.
[](https://gitnova.dev/r/EricLBuehler/mistral.rs)Похожие проекты
-
7,7
TheoLeeCJ/SemIf
Открытая реализация интерфейса семантических решений в стиле Jev: читает вероятности типизированных опций напрямую из логитов 4B-модели без генерации текста. Работает на одной RTX 3090.
-
7,4
TianyuCodings/NanoJev
Реплика модели Jev на базе Qwen3-0.6B: выдаёт распределения вероятностей по кандидатам за один forward-проход без декодирования токенов, с пайплайном обучения и демо на играх (лабиринт, Snake).
-
6,4
Continuum-AI-Corp/OrcaBonsai-27B-Uncensored
Инструмент для отключения отказов у сжатой LLM Ternary Bonsai 2 27B во время инференса: проекция residual-потока убирает направление отказа без изменения или переквантования весов. Работает на Apple Silicon через MLX.
-
6,1
jaredpalmer/kev
kev — LoRA-адаптер с небольшим readout-хедом на базе Qwen2.5-0.5B, который за один forward pass отвечает на множество типизированных вопросов по документу, выдавая калиброванные вероятности вместо текста.
-
6,0
githubnext/localjev
Локальный HTTP-сервис на TypeScript для Bun, реализующий Jev-совместимый API POST /v1/systemone поверх OpenAI-совместимого Chat Completions (DiffusionGemma через oMLX). Нужен как мост для типизированных решений без…
-
6,0
higgsfield-ai/higgsfield
Отказоустойчивый GPU-оркестратор и ML-фреймворк для распределённого обучения моделей с миллиардами и триллионами параметров, включая LLM. Управляет доступом к нодам, очередью экспериментов и интеграцией с GitHub Actions.