FareedKhan-dev/train-llm-from-scratch

A straightforward method for training your LLM, from downloading data to generating text.

Языковые моделиPython#gemini#large-language-models#llm#openai#training

5,3 Взлёт Магнитуда из 10. Рост звёзд выглядит естественно. Данные на 20 сентября 2026.

Открыть на Сейсмографе Открыть на GitHub

О проекте

Учебный проект: реализация Transformer с нуля на PyTorch и полный пайплайн обучения LLM — от сырого текста до SFT, reward model, PPO/DPO/GRPO и чата, без transformers, trl и peft.

Чем пригодится

Обучить небольшой LLM на одном GPU по шагам из README
Разобрать устройство attention и Transformer по исходникам
Проверить этапы post-training: SFT, reward model, DPO, PPO, GRPO

Пересказ README моделью DeepSeek V4.1 Flash. Может ошибаться в деталях.

Почему он в тренде

Сегодня уже 39 звёзд, к концу дня ожидается около 116. Обычный темп — 12 в день, сейчас в 9,3 раза больше.
За последние двое суток темп в 18 раз выше, чем в предыдущие полторы недели.
Всплеск держится 3 дня подряд — это не случайный выброс.
GitHub Trending Python за день: #5, +196 звёзд.
Около 40 форков в сутки — код забирают себе.

Звёзды по дням

Столбики — звёзды за день, линия — обычный темп. Красным — дни всплесков.

Цифры

Всего звёзд: 10 004
Звёзд за сутки: 116
Форков: 1 389
Issues и pull requests: 40
Наблюдателей: 80
Язык: Python
Лицензия: MIT
Создан: 12 января 2025
Последний коммит: 17 августа 2026

Доверие к звёздам

Рост выглядит естественно: форков и обсуждений столько, сколько бывает у живых проектов, а звёзды приходят неровно, как от людей.

Это эвристики, а не приговор: судим по поведению репозитория, а не по списку звездивших.

Где замечен

20 сентября 2026GitHub Trending Python за день: #5, +196 звёзд

Бейдж для README

Вставьте в README — бейдж сам показывает свежую магнитуду и ведёт на эту страницу.

[![Сейсмограф](https://gitnova.dev/badge/FareedKhan-dev/train-llm-from-scratch.svg)](https://gitnova.dev/r/FareedKhan-dev/train-llm-from-scratch)