FareedKhan-dev/train-llm-from-scratch
- Всего звёзд
- 11 931
- Сегодня
- +3
Другие действия
A straightforward method for training your LLM, from downloading data to generating text.
Сохрани в «Мои находки», чтобы следить за релизами и ростом звёзд. Сохраняется в этом браузере.
О проекте
Учебный проект: реализация Transformer с нуля на PyTorch и полный пайплайн обучения LLM — от сырого текста до SFT, reward model, PPO/DPO/GRPO и чата, без transformers, trl и peft.
Чем пригодится
- Обучить небольшой LLM на одном GPU по шагам из README
- Разобрать устройство attention и Transformer по исходникам
- Проверить этапы post-training: SFT, reward model, DPO, PPO, GRPO
Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях. Оригинал README →
Как начать
git clone https://github.com/FareedKhan-dev/train-llm-from-scratch.git
cd train-llm-from-scratch
pip install -e .
Дословно из раздела README «setup». GitNova эти команды не запускал: перед запуском сверьте с оригиналом. Полная инструкция →
Рост звёзд выглядит естественно. Данные на 3 октября 2026, 10:57 UTC.
Оценка роста звёзд не подтверждает безопасность запуска.
Звёзды по дням
Столбики — звёзды за день UTC; линия — скользящее среднее доступной истории. Пропуски означают отсутствие данных, а не нулевой рост. Сегодняшний столбик неполный. Красным — дни всплесков.
Почему он в тренде
- Сегодня уже 3 звезды, к концу дня ожидается около 11.
- Интерес спадает: темп за двое суток — 9% от уровня предыдущих полутора недель.
Замеры роста: последние 7 полных дней
Нет данных за все 7 дней: недельный итог и сравнение не рассчитываются.
Замеры по дням · UTC
- 9 ноября 2026
- —
- 10 ноября 2026
- —
- 11 ноября 2026
- —
- 12 ноября 2026
- —
- 13 ноября 2026
- —
- 14 ноября 2026
- —
- 15 ноября 2026
- —
Полные дни — из истории звёзд GitHub; сегодня и прогнозы исключены из сравнения. История проверена: 3 октября 2026, 10:56 UTC. Источники и ограничения замеров →
Три GitHub-находки в каждом выпуске
Что делают, почему набирают интерес и что проверить перед использованием.
Выпуски в 10:00, 16:00, 22:00 МСК.
Цифры
- Всего звёзд
- 11 931
- Сегодня
- +3 звезды за 2026-10-03 (UTC), к вечеру ≈ 11
- Форков
- 1 642
- Issues и pull requests
- 41
- Наблюдателей
- 87
- Язык
- Python
- Лицензия
- MIT
- Создан
- 12 января 2025
- Последний коммит
- 2 октября 2026
Доверие к звёздам
Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.
Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.
Где замечен
- 23 сентября 2026GitHub Trending Python за день: #7, +141 звезда
- 22 сентября 2026GitHub Trending Python за день: #6, +220 звёзд
- 21 сентября 2026GitHub Trending Python за день: #5, +265 звёзд
- 20 сентября 2026GitHub Trending Python за день: #5, +196 звёзд