jundot/omlx

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

Языковые моделиPython#apple-silicon#inference-server#llm#macos#mlx

2,4 Ровно Магнитуда из 10. Рост звёзд выглядит естественно. Данные на 14 сентября 2026.

Открыть на Сейсмографе Открыть на GitHub

О проекте

Локальный сервер инференса LLM для Apple Silicon с непрерывным батчингом и двухуровневым KV-кэшем (RAM + SSD), управляемый из меню-бара macOS. Совместим с OpenAI API и подходит для запуска локальных моделей в инструментах вроде Claude Code.

Чем пригодится

Запустить локальный OpenAI-совместимый сервер на Mac для Claude Code или Codex
Настроить автоматическую подмену моделей в памяти через меню-бар macOS
Подключить VLM или OCR-модель для чата с изображениями через локальный API

Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.

Почему он в тренде

Сегодня 23 звезды.
Интерес спадает: темп за двое суток — 51% от уровня предыдущих полутора недель.
Около 11 форков в сутки — код забирают себе.
Среди свежих форков — заметные разработчики: @janishar (2 258 подп.).

Звёзды по дням

Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.

Цифры

Всего звёзд: 21 691
Звёзд за сутки: 23
Форков: 1 874
Issues и pull requests: 3 455
Наблюдателей: 114
Язык: Python
Лицензия: Apache-2.0
Последний релиз: v0.7.0.dev2 · 11 сентября 2026
Создан: 13 февраля 2026
Последний коммит: 13 сентября 2026

Доверие к звёздам

Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.

Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.

Где замечен

13 сентября 2026GitHub Trending Python за день: #13, +25 звёзд

Бейдж для README

Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.

[![Сейсмограф](https://gitnova.dev/badge/jundot/omlx.svg)](https://gitnova.dev/r/jundot/omlx)