mostlygeek/llama-swap
Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc
О проекте
Прокси-сервер на Go, который запускает несколько локальных моделей и переключает их по требованию, совместим с OpenAI и Anthropic API. Работает с llama.cpp, vllm, stable-diffusion.cpp и другими бэкендами.
Чем пригодится
- Запустить несколько локальных LLM за одним OpenAI-совместимым эндпоинтом с автозагрузкой по запросу
- Освободить GPU, настроив автоматическую выгрузку неиспользуемых моделей через ttl
- Собрать Docker-контейнер с llama.cpp, whisper.cpp и stable-diffusion.cpp под управлением одного прокси
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 6 звёзд, к концу дня ожидается около 12.
- За последние двое суток темп в 1,5 раза выше, чем в предыдущие полторы недели.
- GitHub Trending Go за день: #5, +18 звёзд.
- Среди свежих форков — заметные разработчики: @prabirshrestha (733 подп.).
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 5 736
- Сегодня
- 6 · к вечеру ≈ 12
- Форков
- 479
- Issues и pull requests
- 1 065
- Наблюдателей
- 24
- Язык
- Go
- Лицензия
- MIT
- Последний релиз
- v257 · 22 сентября 2026
- Создан
- 4 октября 2024
- Последний коммит
- 23 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 23 сентября 2026GitHub Trending Go за день: #5, +18 звёзд
Похожие по описанию
-
1,6
Edge0-AI/Edge0
Открытый фреймворк для стримингового инференса MoE-моделей: эксперты выгружаются с SSD по требованию, а обученный prerouter предсказывает маршрутизацию заранее. Работает на Apple Silicon через MLX, поставляется с двумя…
-
1,8
mmastrac/djev-spark
Рецепт контейнера для запуска DiffusionGemma 26B-A4B (NVFP4) на DGX Spark с vLLM и сервером структурированных решений, реализующим API Jev /v1/systemone.