# actual-computer/toks

> C-библиотека токенизатора, которая точно повторяет ids токенизаторов Hugging Face, с рукописными SIMD-ядрами (AVX2, NEON) и без зависимостей. Рассчитана на встраивание в инференс-движки и другие чувствительные к скорости пайплайны.

- Магнитуда: 3,5 из 10 — Ранний сигнал
- Звёзды: 78 всего · +1 звезда по замерам 2026-10-08, 00:02–01:28 UTC, к вечеру ≈ 29
- Доверие к звёздам: рост звёзд выглядит естественно
- Категория: Языковые модели · Язык: C · Лицензия: Apache-2.0 · Создан: 2026-10-05 · Последний коммит: 2026-10-08
- GitHub: https://github.com/actual-computer/toks · Сайт: https://actual.inc · Страница: https://gitnova.dev/r/actual-computer/toks

## Чем пригодится

- Встроить в инференс-движок вместо токенизатора Hugging Face на этапе препроцессинга.
- Токенизировать датасеты или промпты из Python через hf-совместимый Tokenizer API с большей скоростью.
- Проверить совпадение token ids с hf tokenizers на конкретном tokenizer.json перед заменой.

## Почему он здесь

- По замерам счётчика за 2026-10-08 (UTC), 00:02–01:28: 77 → 78 звёзд (+1). Это прирост за указанный интервал.
- Расчётный прогноз на конец суток: около +29 звёзд; учитывает наблюдаемый прирост и предыдущий день.
- Репозиторию 3 дня, а у него уже 78 звёзд. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
- Топ новых репозиториев за неделю: #182.

## Доверие к звёздам

Рост звёзд выглядит естественно.

Метки доверия к звёздам — эвристики по поведению репозитория, а не проверка каждого, кто поставил звезду.

## Цифры

- Форков: 3
- Issues и pull requests: 58
- Наблюдателей: 0
- В среднем за неделю: 27 в день
- Обычный темп: мало истории (меньше двух недель)
- Звёзд за последний час (по замерам): 1
- Последний релиз: v0.3.2 (2026-10-08)

## Звёзды по дням за 5 дней (от старых к новым, сегодня — неполный день)

2026-10-04 … 2026-10-08: 0, 0, 47, 31, 1

## Где замечен сейчас

- Топ новых репозиториев за неделю: #182

## Ещё в этой категории

1. **Niko1221/Strata** — 5,6 · На пике · Языковые модели · C++ · +64 звезды по замерам 2026-10-08, 00:01–01:27 UTC, к вечеру ≈ 974
   Локальный движок инференса на C++, запускающий 125B MoE-модель Qwen3.8-Flash-Next на обычном ПК с одной NVIDIA GPU (12–24 ГБ) и 64 ГБ RAM, с OpenAI/Anthropic-совместимым API на localhost.
   Полная карточка: https://gitnova.dev/r/Niko1221/Strata.md
2. **deepseek-ai/DeepGEMM** — 4,9 · На пике · Языковые модели · Cuda · +2 звезды по замерам 2026-10-08, 00:01–01:27 UTC, к вечеру ≈ 69
   Библиотека CUDA-ядер для тензорных ядер GPU: GEMM (FP8, FP4, BF16), fused MoE, MQA-скоринг для indexer. Ядра компилируются в рантайме через DeepJIT, установка без сборки CUDA.
   Полная карточка: https://gitnova.dev/r/deepseek-ai/DeepGEMM.md
3. **StayLameBro/backburner** — 4,2 · Остывает · Языковые модели · Python · +5 звёзд по замерам 2026-10-08, 00:02–01:27 UTC, к вечеру ≈ 57
   Форк llama.cpp, который подключает iPhone по USB-C к Mac и распределяет работу: Mac считает слои 1-40, iPhone — 41-64 на своём GPU, что ускоряет prefill и позволяет держать контекст до 196k-229k токенов. Нужен тем, кто запускает Qwen3-27B…
   Полная карточка: https://gitnova.dev/r/StayLameBro/backburner.md
4. **p-e-w/heretic** — 3,8 · Ровно · Языковые модели · Python · +7 звёзд по замерам 2026-10-08, 00:02–01:27 UTC, к вечеру ≈ 148
   Инструмент для автоматического удаления цензуры (safety alignment) из трансформерных языковых моделей с помощью направленной абляции и оптимизации параметров на базе Optuna.
   Полная карточка: https://gitnova.dev/r/p-e-w/heretic.md
5. **Edge0-AI/Edge0** — 3,7 · На пике · Языковые модели · Python · +29 звёзд по замерам 2026-10-08, 00:03–01:27 UTC, к вечеру ≈ 178
   Открытый фреймворк для стримингового инференса MoE-моделей: эксперты выгружаются с SSD по требованию, а обученный prerouter предсказывает маршрутизацию заранее. Работает на Apple Silicon через MLX, поставляется с двумя готовыми моделями…
   Полная карточка: https://gitnova.dev/r/Edge0-AI/Edge0.md

---

Магнитуда (0–10) — насколько быстро и необычно сейчас растёт интерес к репозиторию. Это не оценка качества.
Дни — по UTC. «Уже сегодня» — факт, «к вечеру ≈» — прогноз.
Описания и сценарии пишет модель (DeepSeek V4.1 Flash) по README, в деталях возможны ошибки: конкретные утверждения (замеры, скорость, железо) проверяйте в самом репозитории.
Данные на 2026-10-08 01:38 UTC, обновление каждые 30 минут.