# sybil-solutions/inference-optimisation-skill > Agent skill для ускорения локального LLM-сервера методом hill-climbing: decode, speculative decoding, prefill, KV-кэш, старт и TTFT на любом железе и квантизации. - Магнитуда: 6,9 из 10 — Ранний сигнал - Звёзды: 1 013 всего · +97 звёзд по замерам 2026-11-18, 00:08–11:29 UTC, к вечеру ≈ 299 - Доверие к звёздам: рост звёзд выглядит естественно - Категория: Языковые модели · Язык: Python · Лицензия: MIT · Создан: 2026-11-16 · Последний коммит: 2026-11-16 - GitHub: https://github.com/sybil-solutions/inference-optimisation-skill · Страница: https://gitnova.dev/r/sybil-solutions/inference-optimisation-skill ## Чем пригодится - Ускорить decode и prefill модели на порту :8000 в пределах лимита памяти 40 GiB - Посчитать теоретический потолок tok/s для модели на конкретном железе - Прогнать бенчмарк OpenAI-совместимого сервера с проверкой long-context retrieval ## Как начать ```sh git clone https://github.com/sybil-solutions/inference-optimisation-skill mkdir -p ~/.claude/skills cp -r inference-optimisation-skill/skills/inference-optimisation ~/.claude/skills/ ``` Дословно из раздела README «install». GitNova эти команды не запускал: перед запуском сверьте с оригиналом: https://github.com/sybil-solutions/inference-optimisation-skill#readme ## Почему он здесь - По замерам счётчика за 2026-11-18 (UTC), 00:08–11:29: 916 → 1013 звёзд (+97). Это прирост за указанный интервал. - Расчётный прогноз на конец суток: около +299 звёзд; учитывает наблюдаемый прирост и предыдущий день. - Репозиторию 2 дня, а у него уже 1 013 звёзд. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет. - Топ новых репозиториев за неделю: #9. - Около 25 форков в сутки — код забирают себе. ## Доверие к звёздам Рост звёзд выглядит естественно. Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду. ## Цифры - Форков: 88 - Issues и pull requests: 4 - Наблюдателей: 2 - В среднем за неделю: 428 в день - Обычный темп: мало истории (меньше двух недель) - Звёзд за последний час (по замерам): 4 ## Звёзды по дням за 3 дня (от старых к новым, сегодня — неполный день) 2026-11-16 … 2026-11-18: 407, 579, 97 ## Магнитуда по дням за 2 дня 11-17 7,6, 11-18 7,2 ## Где замечен сейчас - Топ новых репозиториев за неделю: #9 ## Ещё в этой категории 1. **jingyaogong/minimind** — 7,9 · Взлёт · Языковые модели · Python · +455 звёзд по замерам 2026-11-18, 00:08–11:29 UTC, к вечеру ≈ 872 Учебный проект с открытым кодом для обучения сверхмалой языковой модели MiniMind (64M параметров) с нуля на PyTorch, включая полный цикл: pretrain, SFT, LoRA, RLHF, RLAIF и Tool Use. Полная карточка: https://gitnova.dev/r/jingyaogong/minimind.md 2. **p-e-w/heretic** — 5,2 · Взлёт · Языковые модели · Python · +11 звёзд по замерам 2026-11-18, 10:47–11:29 UTC, к вечеру ≈ 221 Инструмент для автоматического удаления цензуры (safety alignment) из трансформерных языковых моделей с помощью направленной абляции и оптимизации параметров на базе Optuna. Полная карточка: https://gitnova.dev/r/p-e-w/heretic.md 3. **microsoft/BitNet** — 5,1 · Взлёт · Языковые модели · C++ · +151 звезда по замерам 2026-11-18, 00:10–11:29 UTC, к вечеру ≈ 288 Официальный фреймворк инференса для 1-bit LLM (BitNet b1.58) с оптимизированными ядрами для CPU и GPU. Позволяет запускать тернарные модели быстро и без потери качества, в том числе 100B-модель на одном CPU. Полная карточка: https://gitnova.dev/r/microsoft/BitNet.md 4. **hyperionaidev/smolmaxxing** — 4,6 · Ранний сигнал · Языковые модели · C · +14 звёзд по замерам 2026-11-18, 00:08–11:29 UTC, к вечеру ≈ 40 Проект по запуску языковых моделей на маломощных устройствах (ТВ-приставки, старые планшеты, SBC) с оптимизациями под ARM: кастомные ядра, стриминг весов, пейджинг экспертов MoE. Цель — выжать максимум токенов в секунду из устройств с 1-2… Полная карточка: https://gitnova.dev/r/hyperionaidev/smolmaxxing.md 5. **WollyMonjac/Tiny-2.1** — 4,2 · Ранний сигнал · Языковые модели · Python · +24 звезды по замерам 2026-11-18, 00:09–11:29 UTC, к вечеру ≈ 52 Крошечный трансформер для ответов на вопросы, написанный на Turbo C 2.0 и работающий под чистым DOS на 486DX или Pentium. Весит 380 КБ и помещается на дискету, обучался примерно на 3500 фактах. Полная карточка: https://gitnova.dev/r/WollyMonjac/Tiny-2.1.md --- Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества. Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз. Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории. Данные на 2026-11-18 11:40 UTC, обновление каждые 30 минут.