# mostlygeek/llama-swap

> Прокси-сервер на Go, который запускает несколько локальных моделей и переключает их по требованию, совместим с OpenAI и Anthropic API. Работает с llama.cpp, vllm, stable-diffusion.cpp и другими бэкендами.

- Магнитуда: 2,0 из 10 — Ровно
- Звёзды: 5 736 всего · +6 звёзд сегодня, к вечеру ≈ 12
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: Go · Лицензия: MIT · Создан: 2024-10-04 · Последний коммит: 2026-09-23
- GitHub: https://github.com/mostlygeek/llama-swap · Страница: https://gitnova.dev/r/mostlygeek/llama-swap

## Чем пригодится

- Запустить несколько локальных LLM за одним OpenAI-совместимым эндпоинтом с автозагрузкой по запросу
- Освободить GPU, настроив автоматическую выгрузку неиспользуемых моделей через ttl
- Собрать Docker-контейнер с llama.cpp, whisper.cpp и stable-diffusion.cpp под управлением одного прокси

## Почему он здесь

- Сегодня уже 6 звёзд, к концу дня ожидается около 12.
- За последние двое суток темп в 1,5 раза выше, чем в предыдущие полторы недели.
- GitHub Trending Go за день: #5, +18 звёзд.
- Среди свежих форков — заметные разработчики: @prabirshrestha (733 подп.).

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 479
- Issues и pull requests: 1 065
- Наблюдателей: 24
- В среднем за неделю: 10 в день
- Обычный темп: 9 в день
- Звёзд за последний час (по замерам): 0
- Последний релиз: v257 (2026-09-22)

## Звёзды по дням за 30 дней (от старых к новым, сегодня — неполный день)

2026-08-25 … 2026-09-23: 7, 10, 8, 11, 13, 11, 12, 13, 14, 5, 8, 8, 9, 21, 9, 9, 7, 8, 11, 5, 11, 2, 13, 10, 6, 7, 14, 6, 14, 6

## Где замечен сейчас

- GitHub Trending Go за день: #5, +18 звёзд

## Похожие по описанию

1. **Edge0-AI/Edge0** — 1,6 · Остывает · Языковые модели · Python · +4 звезды сегодня, к вечеру ≈ 9
   Открытый фреймворк для стримингового инференса MoE-моделей: эксперты выгружаются с SSD по требованию, а обученный prerouter предсказывает маршрутизацию заранее. Работает на Apple Silicon через MLX, поставляется с двумя готовыми моделями…
   Полная карточка: https://gitnova.dev/r/Edge0-AI/Edge0.md
2. **mmastrac/djev-spark** — 1,8 · Остывает · Языковые модели · HTML · +4 звезды сегодня, к вечеру ≈ 8
   Рецепт контейнера для запуска DiffusionGemma 26B-A4B (NVFP4) на DGX Spark с vLLM и сервером структурированных решений, реализующим API Jev /v1/systemone.
   Полная карточка: https://gitnova.dev/r/mmastrac/djev-spark.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-09-23 12:53 UTC, обновление каждые 30 минут.