Языковые модели: что взлетает на GitHub
Самые быстрорастущие репозитории в категории «Языковые модели»: описания на русском, сценарии применения и проверка звёзд. Обновление каждые 30 минут.
-
8,2
togg53192-cmd/jailbreaks
Коллекция из 31 системного промпта, персона-локов и AGENTS.md-файлов для 25+ моделей (Claude, Gemini, Grok, GLM, DeepSeek, Kimi, Qwen, Gemma, GPT-OSS). Предназначена для исследования того, как иерархии инструкций и…
-
6,6
OpenBMB/MiniCPM-OCR
MiniCPM-OCR — семейство открытых OCR-моделей для разбора китайских и английских документов и PDF в Markdown или JSON; модель Jev (2B) оценивает качество распознавания по регионам.
-
6,4
Edge0-AI/Edge0
Открытый фреймворк для стримингового инференса MoE-моделей: эксперты выгружаются с SSD по требованию, а обученный prerouter предсказывает маршрутизацию заранее. Работает на Apple Silicon через MLX, поставляется с двумя…
-
5,8
thomasunise/casecite
Самостоятельно размещаемая платформа для юридических исследований: загрузка документов фирмы, поиск по ним с цитатами, анализ контрактов, драфтинг и аналитика судей. Работает на вашей инфраструктуре с вашими API-ключами.
-
5,3
lyramakesmusic/neuron-explorer
Инструмент для исследования нейронов Qwen3.5-4B через steering: каждый MLP-нейрон отклоняется вверх и вниз на промптах, все роллауты сохраняются, а результаты раскладываются по 3D-виду модели.
-
5,2
NVIDIA/auto-ontology
Python-фреймворк от NVIDIA для построения семантического графа-онтологии над корпоративными данными, который даёт LLM-агентам доверенные определения метрик и сущностей для надёжного text-to-SQL.
-
5,0
google-deepmind/detectorscope
Инструмент для создания детекторов AI-текста, чьи решения объяснимы: предсказание складывается из именованных признаков с указанием их места в тексте. Основан на sparse autoencoders и концептуальном bottleneck поверх…
-
4,8
SoMarkAI/OXR
Открытая модель разбора документов OXR превращает PDF и изображения в Markdown или JSON с координатами элементов, распознавая 13 типов контента (таблицы, формулы, химические структуры, код). При 1.3B параметров…
-
4,6
baidu/Unlimited-OCR
OCR-модель от Baidu для разбора документов: распознаёт текст с одиночных изображений, многостраничных файлов и PDF за один проход, поддерживает длинный контекст до 32768 токенов.
-
4,5
Niko1221/Strata
Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.
-
4,4
Tencent/WeVisOne-VL
WeVisOne-VL — это vision-language модель от WeChat Vision Team (Tencent), объединяющая задачи объектного и пиксельного восприятия: детекцию, referring-локализацию, подсчёт, pointing, OCR, сегментацию и alpha matting.…
-
4,2
JustVugg/colibri
Инференс-движок на чистом C без зависимостей для запуска больших MoE-моделей (744B–2.8T параметров) на потребительском железе за счёт многоуровневой памяти: VRAM, RAM и диск как единая иерархия для стриминга экспертов.
-
3,7
deepseek-ai/DeepInfer
Фреймворк для офлайн-инференса моделей DeepSeek в больших масштабах: оптимизированные ядра, параллелизм MoE/Attention, детерминированная генерация и структурированный вывод. Рассчитан на команды, разворачивающие…
-
3,6
ollama/ollama
Локальный запуск открытых языковых моделей (Kimi, GLM, DeepSeek, Qwen, Gemma и др.) через CLI и REST API с интеграцией в редакторы и ассистентов.
-
3,5
p-e-w/heretic
Инструмент для автоматического удаления цензуры (safety alignment) из трансформерных языковых моделей с помощью направленной абляции и оптимизации параметров на базе Optuna.
-
3,4
BerriAI/litellm
Открытый AI-шлюз и Python SDK для вызова 100+ LLM-провайдеров (OpenAI, Anthropic, Bedrock, Azure, VertexAI и др.) через единый OpenAI-совместимый интерфейс с учётом расходов, guardrails, балансировкой и логированием.
-
3,4
ggml-org/llama.cpp
Реализация инференса LLM и VLM на C/C++ без зависимостей, работающая на CPU и GPU разного железа. Позволяет запускать модели локально с минимальной настройкой и квантованием.
-
3,3
QuantumNous/new-api
Self-hosted AI-шлюз, который объединяет разные LLM-провайдеры и отдаёт единый OpenAI-, Claude- или Gemini-совместимый API с управлением маршрутизацией, доступом и расходами.
-
3,3
Mesh-LLM/mesh-llm
Децентрализованная система для запуска LLM: объединяет GPU и память нескольких машин и предоставляет OpenAI-совместимый API на localhost:9337. Модель может выполняться локально, маршрутизироваться на пир или делиться…
-
3,2
trymirai/uzu
Высокопроизводительный движок инференса AI-моделей на Rust с API для Rust, Python, Swift и TypeScript. Позволяет запускать LLM локально в приложении без задержек и затрат на инференс.
-
3,2
unslothai/unsloth
Десктопное приложение и веб-UI для локального запуска, дообучения и раздачи LLM, diffusion-, embedding- и аудиомоделей с OpenAI-совместимым API и интеграцией с Claude Code, Codex и MCP-агентами.
-
3,2
magnitudedev/magnitude
Открытый inference-движок для потребительского железа: профилирует машину, подбирает лучшие локальные модели, скачивает, настраивает и запускает их, а также подключает вашего агента в один клик.
-
3,1
vllm-project/vllm
Высокопроизводительный движок для инференса и обслуживания больших языковых моделей с эффективным управлением памятью через PagedAttention. Поддерживает 200+ архитектур моделей и OpenAI-совместимый API.
-
3,1
solidsf-inc/solidcv
Чистая реализация OpenCV на Rust без FFI: классическое 2D/3D зрение, стерео-реконструкция и механистическая интерпретируемость LLM/VLM с аппаратными ядрами для Apple Silicon и NVIDIA.
-
3,1
infiniflow/ragflow
Открытый RAG-движок, объединяющий извлечение контекста из документов с агентными возможностями для построения production-систем на LLM. Поддерживает парсинг PDF, DOCX, таблиц, изображений и синхронизацию с Confluence,…
-
3,0
headroomlabs-ai/headroom
Локальная библиотека, прокси и MCP-сервер, сжимающие вывод инструментов, логи, файлы и RAG-чанки перед отправкой в LLM, чтобы сократить расход токенов без потери качества ответов.
-
2,8
slee-persis/GVS5H
Метод без обучения, запускающий пять экземпляров одной LLM параллельно с координацией через общую файловую систему для решения сложных задач по программированию, оценённый на LiveCodeBench.
-
2,7
langfuse/langfuse
Открытая платформа LLM-инженерии: трейсинг, оценка и отладка AI-приложений с self-hosted развёртыванием и управлением промптами.
-
2,6
promptfoo/promptfoo
CLI и библиотека для оценки и ред-тиминга LLM-приложений: автоматические evals промптов, сравнение моделей и сканирование уязвимостей. Работает локально, интегрируется в CI/CD.
-
2,6
mw00/project-maya
Локальный движок, сервер и дашборд для запуска 321B MoE-модели GLM-5.3-Flash на одной или двух NVIDIA GPU с выгрузкой экспертов в RAM и NVMe.
-
2,6
Tencent-Hunyuan/Hy-SimulMT
Модель синхронного перевода речи Tencent Hunyuan для потокового перевода между китайским и английским в реальном времени с клонированием голоса. Репозиторий содержит сервис инференса SimulInfer и инструменты обучения…
-
2,5
xai-org/x-algorithm
Открытый исходный код алгоритма ленты For You в X: объединяет посты от подписок и найденные ML-поиском, фильтрует и ранжирует их трансформерной моделью. Опубликован для прозрачности и изучения того, как формируется…
-
2,5
jaredpalmer/kev
kev — LoRA-адаптер с небольшим readout-хедом на базе Qwen2.5-0.5B, который за один forward pass отвечает на множество типизированных вопросов по документу, выдавая калиброванные вероятности вместо текста.
-
2,3
firecrawl/anydoc
Rust-библиотека для конвертации офисных документов (Word, PowerPoint, Excel, OpenDocument, RTF, EPUB, CSV, PDF) в чистый Markdown с привязками для Node.js, Python и браузера. Нужна для подготовки документов к подаче в…
-
2,2
deeplethe/utopia
Utopia — открытая платформа для корпоративного управления знаниями: битемпоральный граф знаний, RAG-поиск и агентные сценарии поверх одного Rust-бинарника и PostgreSQL. Разворачивается офлайн, подходит компаниям,…
-
2,2
microsoft/BitNet
Официальный фреймворк инференса для 1-bit LLM (BitNet b1.58) с оптимизированными ядрами для CPU и GPU. Позволяет запускать тернарные модели быстро и без потери качества, в том числе 100B-модель на одном CPU.
-
2,2
Albert-Weasker/niubigeo
Открытый инструмент для отслеживания видимости бренда и конкурентов в ответах AI-моделей: по домену показывает, как модели описывают продукт, кого рекомендуют и на какие источники ссылаются.
-
2,1
kvcache-ai/Mooncake
Платформа для обслуживания LLM с KVCache-центричной дезагрегированной архитектурой: разделяет prefill и decode, передаёт KV-кэш между узлами через RDMA. Используется в продакшене Kimi от Moonshot AI.
-
2,1
tensorflow/tensorflow
Открытая платформа машинного обучения от Google Brain с API на Python и C++ для обучения и развёртывания нейросетей. Используется исследователями и разработчиками ML-приложений.
-
2,1
vllm-project/semantic-router
Программируемый слой маршрутизации запросов между разными LLM: выбирает или комбинирует модели по сигналам запроса, предпочтениям пользователя и политикам приложения. Помогает управлять качеством, стоимостью,…
-
2,1
MemTensor/MemT-1.0
Семейство моделей с нативной долговременной памятью: динамическая локальная и обучаемая гиперпамять сохраняют историю без обращения к исходному контексту, сокращая хранилище примерно в 66 раз по сравнению с KV-кэшем на…
-
2,0
mudler/LocalAI
LocalAI — открытый AI-движок, который запускает LLM, vision, голос, изображения и видео на любом железе, включая CPU без GPU, через OpenAI-совместимый API.
-
2,0
tesseract-ocr/tesseract
Открытый OCR-движок libtesseract и CLI-утилита tesseract для распознавания текста на изображениях. Поддерживает более 100 языков, форматы PNG/JPEG/TIFF и вывод в text, hOCR, PDF, TSV, ALTO.
-
2,0
mistralai/timestral
Семейство предобученных моделей для вероятностного многомерного прогнозирования временных рядов с поддержкой ковариат. Позволяет делать zero-shot прогнозы на CPU или GPU без обучения.
-
1,8
NVIDIA/cutlass
CUTLASS — набор CUDA C++ шаблонов и Python DSL (CuTe DSL) для реализации высокопроизводительных операций линейной алгебры, в первую очередь GEMM, на GPU NVIDIA. Проект нужен исследователям и инженерам по…
-
1,8
VectifyAI/PageIndex
Движок RAG без векторной базы: строит иерархический древовидный индекс документа и ищет по нему рассуждениями LLM, как человек по оглавлению. Для длинных профессиональных PDF — финансовых, юридических, технических.
-
1,8
microsoft/onnxruntime
Кроссплатформенный ускоритель инференса и обучения ML-моделей. Запускает модели из PyTorch, TensorFlow, scikit-learn и других через формат ONNX с оптимизацией графа и аппаратным ускорением.
-
1,8
FareedKhan-dev/kimi-k3-in-c
Инференс-движок на портируемом C99, запускающий 2,78-триллионную модель Kimi K3 на одном CPU в 8,24 ГБ RAM без BLAS, фреймворков и GPU. Модель стримится с диска, объём памяти влияет только на скорость.
-
1,7
google-research/kauldron
Модульная библиотека от Google Research для обучения ML-моделей на JAX, ориентированная на скорость исследований и гибкость конфигураций.
-
1,7
google-pytorch/torch_tpu
TorchTPU — это бэкенд PyTorch для TPU от Google, позволяющий запускать модели и операции PyTorch на TPU с кастомными ядрами ATen, кэшем компиляции XLA и поддержкой распределённого обучения.
-
1,7
cocoindex-io/cocoindex
Инкрементальный движок на Rust для построения и постоянного обновления контекста AI-агентов и RAG-приложений: превращает файлы, PDF, Slack и заметки в живые индексы, пересчитывая только изменения.
-
1,7
mostlygeek/llama-swap
Прокси-сервер на Go, который запускает несколько локальных моделей и переключает их по требованию, совместим с OpenAI и Anthropic API. Работает с llama.cpp, vllm, stable-diffusion.cpp и другими бэкендами.
-
1,6
chenglou/handwired
Преобразует обычный JavaScript-код в дифференцируемую нейросеть: if-else, циклы и состояние компилируются в матричные умножения и ReLU без обучения. Работает на JS или WebGPU.
-
1,6
FlashML-org/FreeToken
Движок инференса Mixture-of-Experts для запуска крупных открытых MoE-моделей (290B+) на потребительском железе — GPU, CPU и оперативной памяти. Нужен тем, кто хочет гонять фронтирные модели локально.
-
1,6
cobanov/PS5LM
Порт llama.cpp на взломанную PlayStation 5: запускает GGUF-модели прямо на консоли через payload, с браузерной библиотекой моделей и чатом. Пока работают небольшие модели до 1.6 ГБ.
-
1,6
drumih/turbo-fieldfare
Кастомный рантайм на Swift и Metal для запуска Gemma 4 26B-A4B на Mac с Apple Silicon: держит в памяти ~2 ГБ, а эксперты подгружает с SSD, что позволяет работать даже на 8 ГБ RAM.
-
1,5
lemonade-sdk/lemonade
Локальный AI-сервер, который запускает оптимизированные LLM, whisper, TTS и генерацию изображений на GPU и NPU пользователя, предоставляя OpenAI-, Anthropic- и Ollama-совместимые API. Доступен как сервис или…
-
1,5
NVIDIA/spark-local-inference
Flare — локальный инференс-сервер для GPU NVIDIA SM120/SM121, рассчитанный на длинные диалоги, кодинг-агентов и повторное использование инструментов. Модели компилируются через PyTorch, а обслуживаются Rust-рантаймом,…
-
1,5
MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks
Скрипты для запуска квантованной модели DeepSeek-V4.1-Flash-1017 (EXL3, 2.9 bpw) на паре NVIDIA DGX Sparks через движок TensorFold с OpenAI-совместимым API, окном до 1M токенов и спекулятивным декодированием DSpark.
-
1,5
nace-ai/kapitsa
Оптимизированный под Apple Silicon движок инференса для моделей Qwen и Nemotron с OpenAI- и Anthropic-совместимыми API. Запускает локальные LLM на Mac через CLI и веб-чат.
-
1,5
MoonshotAI/Kimi-K3
Kimi K3 — открытая мультимодальная агентная языковая модель MoE на 2.8T параметров с контекстом 1M токенов, понимающая текст, изображения и видео. Предназначена для длительного кодинга, агентной работы со знаниями и…
-
1,3
ml-explore/mlx
MLX — фреймворк для массивов и машинного обучения от Apple, оптимизированный под Apple silicon с единой памятью и ленивыми вычислениями. API на Python, C++, C и Swift повторяет NumPy и PyTorch, что упрощает обучение и…
-
1,3
routerhubSI/openrouter-alternative
Шлюз к AI-моделям с одним предоплаченным API-ключом и OpenAI/Anthropic-совместимыми интерфейсами, включая отдельные uncensored и abliterated варианты DeepSeek, GLM и Qwen. Репозиторий — это руководство по миграции с…
-
1,3
deepseek-ai/FlashMLA
Библиотека оптимизированных attention-ядер от DeepSeek (sparse и dense) для инференса DeepSeek-V4.1 на NVIDIA GPU и Huawei Ascend NPU с поддержкой FP8/FP4 KV-кэша.
-
1,3
byenzyme/enzyme
Локальный индексатор Markdown-заметок для кодовых агентов: ранжирует фрагменты по словам и смыслу, работая целиком на вашей машине.
-
1,2
eagle-hq/EAGLE-4
Официальный inference-код EAGLE-4: плагин speculative decoding для SGLang, vLLM и TokenSpeed, подстраивающий draft-стратегию под размер батча, железо и нагрузку. Ускоряет инференс LLM вроде Qwen3.8-27B, сохраняя…
-
1,2
astroautomata/PySR
PySR — библиотека символьной регрессии на Python и Julia: ищет интерпретируемые аналитические формулы, оптимально описывающие данные, вместо чёрного ящика нейросети.
-
1,2
recursive-oss/rec
Локальный inference-движок для языковых моделей Recursive, оптимизированный под Apple Silicon и работающий быстрее llama.cpp. Запускает модель на вашей машине и отдаёт OpenAI-совместимый API для подключения клиентов.
-
1,1
openvinotoolkit/openvino
OpenVINO — открытый тулкит для оптимизации и развёртывания инференса моделей глубокого обучения на CPU, GPU и NPU Intel. Поддерживает модели из PyTorch, TensorFlow, ONNX, Keras, PaddlePaddle, JAX/Flax и Hugging Face с…
-
1,1
deepseek-ai/DeepSpec
Полный пайплайн для обучения и оценки draft-моделей speculative decoding: подготовка данных, обучение против кэша target-модели и замер acceptance на бенчмарках. Поддерживает алгоритмы DSpark, DFlash и Eagle3.
-
1,0
mizorewww/laya-mlx
Нативный MLX-рантайм для типизированных решающих моделей Laya: возвращает вероятности выбора, оценки или истинности без генерации текста, работает локально на Apple Silicon.
-
0,9
BaruqueRodrigues/llm-legislativo
Крупномасштабный корпус бразильских законодательных документов и причинная Transformer-модель, обученная с нуля на чистом PyTorch без предобученных весов и внешних API.
-
0,9
ValerioDolci/capy-flash
Инференс-движок на C++ для запуска большой MoE-модели Qwen3.8-Flash-Next (125B) в NVFP4 на двух потребительских GPU по 16 ГБ: эксперты выгружаются в RAM и считаются на CPU, остальное идёт tensor parallel. Также…
-
0,9
h563k/chat-keeper
Третья сторона предоставляет зеркало веб-интерфейса Claude и API-доступ к Claude, Gemini и OpenAI с прямым подключением из Китая без VPN. Репозиторий служит в основном витриной и точкой входа для платного сервиса.
-
0,8
justxor/deepseek-local-guide-ru
Гайд на русском по локальному запуску моделей DeepSeek (R1, V4) на ПК, Mac и сервере: Ollama, llama.cpp, LM Studio, vLLM, Open WebUI, API, RAG, агенты и fine-tuning.
-
0,7
apple-aiml-research/ml-rsi-inference-bench
Бенчмарк для оценки кодинг-агентов, которые оптимизируют и чинят стек инференса LLM в реальных движках vLLM и SGLang на настоящих GPU. Агент выполняет задачи на живом движке, а результат оценивается запуском собранного…
-
0,5
KohakuBlueleaf/KohakuMossTrainer
Фреймворк для дообучения MOSS-Image: все алгоритмы LyCORIS и полный файнтюн на текстово-изображенческих данных в нативном разрешении, плюс инференс, на Windows и Linux от 6 ГБ видеопамяти до мульти-GPU.
-
0,5
deepopen-com/deepopen
Открытый неавторегрессионный движок принятия решений (System 1) для структурированных типовых задач: за один forward pass выдаёт типизированные ответы (choice, score, noul) на 100+ языках без генерации текста. Подходит…
-
0,5
Taichu-AI/ZDTaichu5.0-9B
Мультимодальная фундаментальная модель ZDTaichu5.0-9B на базе Qwen3.5-9B и C-RADIOv4-H для понимания изображений, видео, пространственного и embodied-рассуждения, а также агентных задач.
-
0,5
7API/glm-5.3-abliterated
Гайд и набор промптов для abliterated/uncensored моделей GLM 5.3: 35 jailbreak-промптов и доступ через один OpenAI- и Anthropic-совместимый ключ 7API.
-
0,4
strot-ai/STROT-Compiler
STROT компилирует заданное на естественном языке намерение в замороженный локальный Python-артефакт, который классифицирует, оценивает или маршрутизирует записи без обращения к LLM во время выполнения. Проект для…
-
0,4
heterodoxin/AbliteratedOutTheBox
Форк llama.cpp, который выполняет abliteration во время инференса: читает направления отказа прямо из промпта и снимает их в графе, не меняя веса на диске. Позволяет запускать любую поддерживаемую модель без дообучения…
-
0,2
NineAbyss/OR-License
Бенчмарк из 31 задачи для оценки LLM-агентов в роли специалистов по исследованию операций: агент сам запрашивает данные, пишет оптимизационную программу в изолированной среде и сдаёт решение.
-
0,2
prabanta-dev/janas
Janas — набор AI-инструментов на C без зависимостей. Janas-LLM запускает большие MoE-модели (до 80B, 48 ГБ) на ноутбуке с 32 ГБ ОЗУ, стримя экспертов с NVMe SSD, и работает быстрее llama.cpp на всех 13 протестированных…
-
0,1
composo-ai/DishwasherBench
Браузерная игра по загрузке посудомоечной машины на физической симуляции реальной модели Bosch, созданная для бенчмарка языковых моделей. Игрок загружает посуду, запускает программу Eco 50 и получает баллы за чистые…
-
0,0
rockmatrix-ai/EdgeRock
YANchor-4B — рекуррентная языковая модель общего назначения на 4.58B параметров, которая хранит ключевую информацию как «якоря» памяти и обеспечивает длинные рассуждения за O(N) времени и O(1) памяти. Репозиторий…
-
0,0
cdcailf/cjkfold
Python-библиотека, которая сворачивает похожие CJK-глифы (Kangxi radicals и CJK radical supplements) обратно в те иероглифы, которыми они отображаются, чтобы текст из PDF снова совпадал при поиске и сравнении. Без…
-
0,0
Augmented-Nature/BioOntology-MCP-Server
Неофициальный MCP-сервер для доступа к BioOntology API: поиск, аннотирование и изучение более 1200 биологических онтологий. Нужен для интеграции биомедицинских онтологий в MCP-совместимые клиенты вроде Claude Desktop.
-
0,0
7API/uncensored-ai-api
Шлюз с одним API-ключом к Claude, GPT, Gemini, Grok, DeepSeek, GLM и Kimi, включая uncensored и abliterated варианты. Совместим с OpenAI и Anthropic SDK, оплата за токены.
-
0,0
JackWang666666/my-rag
Система базы знаний на основе RAG: фронтенд на Next.js и два равноценных бэкенда (FastAPI/LangChain и Spring Boot/Spring AI), использующих общие Milvus, Neo4j и SQLite.
-
0,0
routerhubSI/uncensored-ai-api
Шлюз к API и моделям ИИ (Claude, GPT, Gemini, Grok, DeepSeek, GLM, Qwen) с одним ключом, OpenAI- и Anthropic-совместимый, с uncensored и abliterated вариантами и оплатой за токены.
-
0,0
martina9516/uncensored-ai-models
Шлюз с одним API-ключом для доступа к Claude, GPT, Gemini, Grok, DeepSeek, GLM и Qwen, включая uncensored и abliterated варианты. Совместим с OpenAI и Anthropic SDK, оплата по токенам.