Фреймворк для офлайн-инференса моделей DeepSeek в больших масштабах: оптимизированные ядра, параллелизм MoE/Attention, детерминированная генерация и структурированный вывод. Рассчитан на команды, разворачивающие DeepSeek-V4.1-Flash на NVIDIA SM100 или Huawei Ascend 950.
Чем пригодится
- Запустить офлайн-инференс DeepSeek-V4.1-Flash на кластере из нескольких GPU
- Ограничить генерацию JSON-схемой или грамматикой через structured outputs
- Получить воспроизводимые результаты при разных размерах батча с batch-invariant режимом
Перед использованием
- Лицензия: Apache-2.0
- Установка и требования не проверены; перед запуском изучи README
Почему интересно сейчас
- Создан на GitHub
- 2026-10-16 UTC
- Впервые в GitNova
- 2026-10-20 UTC
- Магнитуда
- 9.3 / 10 · рост интереса
Есть только 3 полных дней истории; надёжный обычный темп ещё не определён. За 2026-10-19: +3 звёзд (UTC)
Текущий прирост уже выше максимума предыдущих 3 полных дней: +3 за 2026-10-19 (UTC)
Замер: 20 октября 2026, 12:38 UTC
Подробности замера
- Создан на GitHub: 2026-10-16; замечен GitNova: 2026-10-20 (UTC)
- +4 651 звезда по замерам 2026-10-20, 09:29–12:24 UTC
- Есть только 3 полных дней истории; надёжный обычный темп ещё не определён. За 2026-10-19: +3 звёзд (UTC)
- Текущий прирост уже выше максимума предыдущих 3 полных дней: +3 за 2026-10-19 (UTC)
- Магнитуда 9.3/10