Inferact/tpu-megakernels
A collection of megakernels for TPU
О проекте
Набор fused-мегакёрнелов для инференса языковых моделей на TPU: объединяют декодирование Kimi K3 и Qwen3.8-27B с спекулятивным декодированием в один кёрнел, давая ускорение относительно GB200 при батчах 1–8.
Чем пригодится
- Запустить OpenAI-совместимый сервер Qwen3.8-27B на одной хост-машине с восемью TPU для чат-инференса
- Прогнать CPU-тесты корректности на 32 виртуальных устройствах без TPU
- Оценить пропускную способность декодирования Kimi K3 с DSpark по сравнению с baseline
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Почему он в тренде
- Сегодня уже 0 звёзд, к концу дня ожидается около 24.
- Всплеск держится 3 дня подряд — это не случайный выброс.
- Репозиторию 2 дня, а у него уже 95 звёзд. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
- Топ новых репозиториев за неделю: #162.
Звёзды по дням
Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.
Цифры
- Всего звёзд
- 95
- Сегодня
- 0 · к вечеру ≈ 24
- Форков
- 2
- Issues и pull requests
- 1
- Наблюдателей
- 1
- Язык
- Python
- Лицензия
- Apache-2.0
- Создан
- 23 сентября 2026
- Последний коммит
- 25 сентября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 25 сентября 2026Топ новых репозиториев за неделю: #162
Похожие по описанию
-
1,1
MiaAI-Lab/DeepSeek-v4.1-Flash-EXL3-2x-DGX-Sparks
Локальный чекпоинт DeepSeek-V4.1-Flash в квантовании EXL3 2.9 bpw (196 GiB, 39 шардов) для запуска через vLLM с OpenAI-совместимым API на двух NVIDIA GB10 (DGX Spark) с tensor-parallel 2. Включает спекулятивное…
-
2,1
MiaAI-Lab/DeepSeek-v4.1-Flash-DGX-Sparks
Скрипты и патчи для запуска модели DeepSeek-V4.1-Flash через SGLang на кластере из 3–4 NVIDIA DGX Spark с MXFP4/FP8, спекулятивным декодированием и OpenAI-совместимым API.