ikawrakow/ik_llama.cpp

llama.cpp fork with additional SOTA quants and improved performance

Языковые моделиC++

1,2 Ровно Магнитуда из 10 — скорость роста интереса, а не оценка качества. Рост звёзд выглядит естественно. Данные на 29 сентября 2026, 12:30 UTC.

Открыть на Сейсмографе Открыть на GitHub

О проекте

Форк llama.cpp с дополнительными SOTA-квантизациями и улучшенной производительностью CPU/GPU для локального запуска LLM. Поддерживает новые модели и методы инференса, появившиеся здесь раньше, чем в апстриме.

Чем пригодится

Запустить локальный llama-server с GGUF-моделью через CPU или CUDA
Собрать бинарник с AVX-512-флагами для активации IQK-квантованных GEMM-ядер
Развернуть инференс в Docker через готовый образ ghcr.io

Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.

Почему он в тренде

Сегодня уже 2 звезды, к концу дня ожидается около 4.
GitHub Trending C++ за день: #15, +6 звёзд.

Звёзды по дням

Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.

Цифры

Всего звёзд: 3 271
Сегодня: 2 · к вечеру ≈ 4
Форков: 470
Issues и pull requests: 2 343
Наблюдателей: 35
Язык: C++
Лицензия: MIT
Последний релиз: t0002 · 22 июля 2025
Создан: 27 июня 2024
Последний коммит: 29 сентября 2026

Доверие к звёздам

Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.

Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.

Где замечен

29 сентября 2026GitHub Trending C++ за день: #15, +6 звёзд

Бейдж для README

Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.

[![Сейсмограф](https://gitnova.dev/badge/ikawrakow/ik_llama.cpp.svg)](https://gitnova.dev/r/ikawrakow/ik_llama.cpp)

Ещё в этой категории

8,2
firelex/jeff
Небольшие дообученные модели Qwen3.5 и Gemma 4 для zero-shot классификации: по описанию ситуации и списку вариантов возвращают калиброванную вероятность для каждого варианта за один forward pass.

Ранний сигналЯзыковые моделиPython+219 звёзд сегодня, к вечеру ≈ 466
7,4
VectifyAI/PageIndex
Движок RAG без векторной базы: строит иерархический древовидный индекс документа и ищет по нему рассуждениями LLM, как человек по оглавлению. Для длинных профессиональных PDF — финансовых, юридических, технических.

ВзлётЯзыковые моделиPython+225 звёзд сегодня, к вечеру ≈ 486
7,2
Niko1221/Strata
Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.

Ранний сигналЯзыковые моделиC+++144 звезды сегодня, к вечеру ≈ 360
5,6
ollaya-dev/ollaya
Локальный рантайм для decision-моделей: скачивает и обслуживает модели классификации и маршрутизации через API, совместимый с TypeSafe. Аналог Ollama, но для моделей, возвращающих вероятности, а не текст.

Ранний сигналЯзыковые моделиRust+34 звезды сегодня, к вечеру ≈ 89
5,3
PostHog/jeeves
Jeeves — это reasoning-модель на базе Qwen3.5-9B (LoRA + pointer head), обученная через SFT и CISPO, которая перед ответом рассуждает и выдаёт калиброванные вероятности для yes/no, multiple-choice и rating вопросов…

Ранний сигналЯзыковые моделиPython+39 звёзд сегодня, к вечеру ≈ 58
4,9
deepfates/imp
Порт DSPy на BEAM: декларативные LM-программы на Elixir с сигнатурами, оптимизаторами и агентами, работающими как OTP-процессы.

Ранний сигналЯзыковые моделиElixir+1 звезда сегодня, к вечеру ≈ 13