Ascend: «Полный цикл разработки больших моделей» — короткий путеводитель
Что за курс «Полный цикл разработки больших моделей» от Шанхайского университета Цзяотун и сообщества Huawei Ascend, на чём он основан, почему его лабораторные не перенести на NVIDIA и как использовать его как чек-лист этапов — с привязкой к урокам нашего курса.
Что это
Заголовок раздела «Что это»«Полный цикл разработки больших моделей» — бесплатный курс, который Шанхайский университет Цзяотун (SJTU) сделал вместе с сообществом Huawei Ascend (по-китайски «Шэнтэн»). По README репозитория-предшественника:
- курс вырос из серии «Большие модели своими руками» (dive-into-llms) — практических заданий к курсам SJTU «Передовые технологии обработки естественного языка» (NIS8021) и «Технологии безопасности ИИ» (NIS3353), преподаватель Чжан Чжошэн;
- он построен на базовом программном и аппаратном стеке Ascend (NPU Huawei; по описанию на странице «Учимся у создателей» — вместе с фреймворком MindSpore);
- формат — презентации, лабораторные руководства и видео;
- три уровня — начальный, средний и продвинутый — под разные потребности: от быстрого старта до запуска моделей, уже поддерживаемых Ascend, и переноса и настройки новых моделей на Ascend;
- запуск объявлен 6 июня 2025 года; разработчики — команда SJTU и инженеры сообщества Ascend.
По описанию программы («Учимся у создателей»): начальный уровень проходит весь цикл — окружение, данные, предобучение, инференс, оценка, промпты; средний и продвинутый — дообучение и оптимизация.
Почему лабораторные не перенести на вашу машину
Заголовок раздела «Почему лабораторные не перенести на вашу машину»Курс сделан для китайского железа: NPU Ascend и его программный стек. На NVIDIA RTX 4080 эти лабораторные напрямую не запустятся — другой ускоритель, другие библиотеки, другие команды. Это не недостаток курса, а его смысл: показать, как вести весь цикл разработки LLM в условиях технологической независимости (см. трек 1 «AI-экосистема Китая» о санкциях и своём железе).
Как использовать: чек-лист этапов
Заголовок раздела «Как использовать: чек-лист этапов»Ценность курса для вас — структура полного цикла. Пройдите его как чек-лист, делая каждый этап по нашим урокам на своих GPU:
| Этап курса (по описанию) | Что сделать в нашем курсе |
|---|---|
| Окружение | 0.1.2 Python и окружения, страница о вашей машине |
| Данные | 5.1.2 данные для предобучения |
| Предобучение | 5.6.2 проект: предобучение MiniMind |
| Инференс | 7.1.2 vLLM и SGLang, 7.2.2 локальный запуск |
| Оценка | 7.3.1 бенчмарки, 7.3.2 свои эвалы |
| Промпты | 8.1.2 промпт-инжиниринг |
| Дообучение (средний уровень) | 6.2.2 LoRA-дообучение Qwen |
| Оптимизация (продвинутый уровень) | 5.7 устройство GPU и ядра, 7.2.1 квантование |
Пройдя все строки, вы проделаете тот же «полный цикл», что и курс, — а это почти готовый план для итогового проекта.
Что открыто без ограничений
Заголовок раздела «Что открыто без ограничений»Серия «Большие модели своими руками» лежит на GitHub (Lordog/dive-into-llms) и работает на обычных GPU: 11 тем с презентациями, туториалами и ноутбуками — дообучение и развёртывание, промпты и цепочки рассуждений, редактирование знаний, математические рассуждения («дистиллируем мини-R1»), водяные знаки в тексте, атаки «джейлбрейк», стеганография в LLM, мультимодальные модели, GUI-агенты, безопасность агентов, RLHF на PPO. Лицензия в репозитории не указана, поэтому мы её не переводим, но читать и запускать её ноутбуки на своей машине можно — хороший китайский практикум к ступеням 6–9.
| Тема серии | О чём (по README) | Наш урок |
|---|---|---|
| Дообучение и развёртывание | выбрать предобученную модель, дообучить на своей задаче и развернуть демо | 6.2.2 |
| Обучение промптами и цепочки рассуждений | вызов API и рассуждения; почему модели иногда «нужно подбодрить» | 8.1.2 |
| Редактирование знаний | как точечно изменить факт, который помнит модель, и проверить результат | 9.3.1 |
| Математические рассуждения | быстро дистиллировать «мини-R1» | 6.4.4 |
| Водяные знаки модели | невидимая человеку метка в сгенерированном тексте | 9.3.5 |
| Атаки «джейлбрейк» | «чтобы защищать, надо уметь атаковать» | 9.3.4 |
| Стеганография в больших моделях | скрытое сообщение внутри обычного ответа модели | 9.3.4 |
| Мультимодальные модели | как MLLM понимают и генерируют разные модальности | 9.1.1 |
| GUI-агенты | агент, который сам нажимает кнопки в интерфейсе: заказать еду, ответить на сообщение | 8.3.1 |
| Безопасность агентов | понимает ли агент риски в открытой среде | 8.3.4 |
| RLHF и выравнивание для безопасности | эксперимент с RLHF на PPO | 6.3.2 |
Словарик
Заголовок раздела «Словарик»| Русский | Пояснение |
|---|---|
| Ascend (по-китайски «Шэнтэн») | NPU Huawei и их программный стек |
| полный цикл | все этапы: окружение, данные, предобучение, инференс, оценка, промпты |
| лабораторное руководство | пошаговая инструкция к практическому занятию |
| начальный / средний / продвинутый | три уровня курса |
| перенос модели | запуск модели на другом железе, например с NVIDIA на Ascend |
| импортозамещение («отечественное производство») | переход на своё китайское железо и софт |