actual-computer/toks
- Всего звёзд
- 77
- Сегодня · UTC
- +0с 00:02 UTC
Сохрани в «Мои находки», чтобы следить за релизами и ростом звёзд. Сохраняется в этом браузере.
О проекте
C-библиотека токенизатора, которая точно повторяет ids токенизаторов Hugging Face, с рукописными SIMD-ядрами (AVX2, NEON) и без зависимостей. Рассчитана на встраивание в инференс-движки и другие чувствительные к скорости пайплайны.
Чем пригодится
- Встроить в инференс-движок вместо токенизатора Hugging Face на этапе препроцессинга.
- Токенизировать датасеты или промпты из Python через hf-совместимый Tokenizer API с большей скоростью.
- Проверить совпадение token ids с hf tokenizers на конкретном tokenizer.json перед заменой.
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.
Рост звёзд выглядит естественно. Данные на 8 октября 2026, 00:56 UTC.
Оценка роста звёзд не подтверждает безопасность запуска.
Звёзды по дням
Столбики — звёзды за день; линия — скользящее среднее доступной истории. При короткой истории оно ещё не задаёт надёжный обычный темп. Красным — дни всплесков.
Почему он в тренде
- По замерам счётчика за 2026-10-08 (UTC), 00:02–00:46: 77 → 77 звёзд (+0). Это прирост за указанный интервал.
- Расчётный прогноз на конец суток: около +28 звёзд; учитывает наблюдаемый прирост и предыдущий день.
- Репозиторию 3 дня, а у него уже 77 звёзд. Истории меньше двух недель, так что обычного темпа, с которым можно сравнить всплеск, у него ещё нет.
- Топ новых репозиториев за неделю: #183.
Три GitHub-находки в каждом выпуске
Что делают, почему набирают интерес и что проверить перед использованием.
Выпуски в 10:00, 16:00, 22:00 МСК.
Цифры
- Всего звёзд
- 77
- Сегодня
- +0 звёзд по замерам 2026-10-08, 00:02–00:46 UTC, к вечеру ≈ 28
- Форков
- 3
- Issues и pull requests
- 58
- Наблюдателей
- 0
- Язык
- C
- Последний релиз
- v0.3.1 · 6 октября 2026
- Создан
- 5 октября 2026
- Последний коммит
- 8 октября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 8 октября 2026Топ новых репозиториев за неделю: #181
Бейдж для README
Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.
[](https://gitnova.dev/r/actual-computer/toks)