# lkarlslund/laya.cpp

> Нативный C++ инференс для моделей Laya с бэкендами CUDA, Vulkan и Apple Core ML, без Python. Поддерживает токенизацию, вывод и JSON, а также HTTP-сервер с автоматической батчингом запросов.

- Магнитуда: 2,1 из 10 — Ранний сигнал
- Звёзды: 81 всего · +0 звёзд сегодня, к вечеру ≈ 12
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: C++ · Лицензия: MIT · Создан: 2026-09-20 · Последний коммит: 2026-09-23
- GitHub: https://github.com/lkarlslund/laya.cpp · Страница: https://gitnova.dev/r/lkarlslund/laya.cpp

## Чем пригодится

- Запустить локальный инференс Laya на GPU без Python для обработки JSON-запросов
- Развернуть HTTP-сервер с автоматической батчингом для интеграции Laya в существующие системы
- Собрать проект под CUDA, Vulkan или Core ML для конкретной платформы

## Почему он здесь

- Сегодня уже 0 звёзд, к концу дня ожидается около 12.
- Всплеск держится 3 дня подряд — это не случайный выброс.
- Репозиторию 4 дня, а у него уже 81 звезда. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
- Топ новых репозиториев за неделю: #200.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 8
- Issues и pull requests: 14
- Наблюдателей: 2
- В среднем за неделю: 18 в день
- Обычный темп: мало истории (меньше двух недель)
- Звёзд за последний час (по замерам): 1
- Последний релиз: r0002 (2026-09-23)

## Звёзды по дням за 5 дней (от старых к новым, сегодня — неполный день)

2026-09-20 … 2026-09-24: 16, 24, 26, 15, 0

## Где замечен сейчас

- Топ новых репозиториев за неделю: #200

## Похожие по описанию

1. **navaneethkrishnansuresh/Inference-Engineering** — 0,4 · Ровно · Языковые модели · Jupyter Notebook · +0 звёзд сегодня, к вечеру ≈ 1
   Практический курс по inference-инженерии LLM: разбирает, что происходит при обработке запроса — токенизация, prefill, decode, KV cache, планирование и батчинг. Для разработчиков, желающих понять runtime-сторону обслуживания моделей.
   Полная карточка: https://gitnova.dev/r/navaneethkrishnansuresh/Inference-Engineering.md
2. **0xShug0/audio.cpp** — 2,0 · Ровно · Генерация медиа · C++ · +0 звёзд сегодня, к вечеру ≈ 24
   Нативный C++ движок для инференса аудиомоделей на базе ggml: TTS, распознавание речи, VAD, клонирование голоса, генерация музыки. Работает без Python на CPU, CUDA, ROCm, Vulkan и Metal.
   Полная карточка: https://gitnova.dev/r/0xShug0/audio.cpp.md
3. **deepseek-ai/deepseek-recipe** — 0,9 · Ровно · Языковые модели · Rust · +0 звёзд сегодня, к вечеру ≈ 1
   Набор Rust-библиотек и Python-биндингов для преобразования API-запросов разных форматов (Messages, Chat Completions, Responses) в формат Conversation, кодирования их в промпты для моделей DeepSeek V4/V4.1 и обратного преобразования вывода…
   Полная карточка: https://gitnova.dev/r/deepseek-ai/deepseek-recipe.md
4. **paradigma-inc/limite-violetto** — 1,6 · Остывает · Языковые модели · Python · +0 звёзд сегодня, к вечеру ≈ 7
   Репозиторий содержит vLLM-плагин для запуска модели Limite 1B — Violetto, обученной решать сложные математические задачи по одной за раз. Веса и токенизатор размещены на Hugging Face.
   Полная карточка: https://gitnova.dev/r/paradigma-inc/limite-violetto.md
5. **bojieli/ai-infra-book** — 2,6 · Остывает · Обучение и подборки · Python · +0 звёзд сегодня, к вечеру ≈ 90
   Открытая книга «深入理解 AI Infra» Ли Боцзе: количественный вывод проектирования систем инференса и обучения LLM из ограничений железа и архитектуры моделей. Включает текст, PDF, расчётные инструменты и эксперименты.
   Полная карточка: https://gitnova.dev/r/bojieli/ai-infra-book.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-09-24 02:50 UTC, обновление каждые 30 минут.