lkarlslund/laya.cpp
C++ inference for Laya typed decisions - supports CUDA, Vulkan, Core ML, CPU
О проекте
Нативный C++ инференс для моделей Laya с бэкендами CUDA, Vulkan и Apple Core ML, без Python. Поддерживает токенизацию, вывод и JSON, а также HTTP-сервер с автоматической батчингом запросов.
Чем пригодится
- Запустить локальный инференс Laya на GPU без Python для обработки JSON-запросов
- Развернуть HTTP-сервер с автоматической батчингом для интеграции Laya в существующие системы
- Собрать проект под CUDA, Vulkan или Core ML для конкретной платформы
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 0 звёзд, к концу дня ожидается около 12.
- Всплеск держится 3 дня подряд — это не случайный выброс.
- Репозиторию 4 дня, а у него уже 81 звезда. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
- Топ новых репозиториев за неделю: #200.
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 81
- Сегодня
- 0 · к вечеру ≈ 12
- Форков
- 8
- Issues и pull requests
- 14
- Наблюдателей
- 2
- Язык
- C++
- Лицензия
- MIT
- Последний релиз
- r0002 · 23 сентября 2026
- Создан
- 20 сентября 2026
- Последний коммит
- 23 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 24 сентября 2026Топ новых репозиториев за неделю: #198
Поделиться
Бейдж для README
Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.
[](https://gitnova.dev/r/lkarlslund/laya.cpp)Похожие по описанию
-
0,4
navaneethkrishnansuresh/Inference-Engineering
Практический курс по inference-инженерии LLM: разбирает, что происходит при обработке запроса — токенизация, prefill, decode, KV cache, планирование и батчинг. Для разработчиков, желающих понять runtime-сторону…
-
2,0
0xShug0/audio.cpp
Нативный C++ движок для инференса аудиомоделей на базе ggml: TTS, распознавание речи, VAD, клонирование голоса, генерация музыки. Работает без Python на CPU, CUDA, ROCm, Vulkan и Metal.
-
0,9
deepseek-ai/deepseek-recipe
Набор Rust-библиотек и Python-биндингов для преобразования API-запросов разных форматов (Messages, Chat Completions, Responses) в формат Conversation, кодирования их в промпты для моделей DeepSeek V4/V4.1 и обратного…
-
1,6
paradigma-inc/limite-violetto
Репозиторий содержит vLLM-плагин для запуска модели Limite 1B — Violetto, обученной решать сложные математические задачи по одной за раз. Веса и токенизатор размещены на Hugging Face.
-
2,6
bojieli/ai-infra-book
Открытая книга «深入理解 AI Infra» Ли Боцзе: количественный вывод проектирования систем инференса и обучения LLM из ограничений железа и архитектуры моделей. Включает текст, PDF, расчётные инструменты и эксперименты.
-
2,5
huggingface/tokenizers
Библиотека токенизации от Hugging Face на Rust с биндингами для Python и Node.js: быстрая реализация BPE, Unigram, WordPiece и WordLevel для обучения и инференса моделей NLP.