Berkeley Advanced LLM Agents: путеводитель по курсу об агентах и рассуждениях

Advanced Large Language Model Agents — открытый онлайн-курс (MOOC) Калифорнийского университета в Беркли (UC Berkeley, курс CS294/194-280), который весной 2025 года вела профессор Дон Сонг вместе с приглашёнными соведущими Синьюнь Чэнь (Google DeepMind) и Кайюй Яном (Meta FAIR). Это продолжение осеннего курса 2024 года «LLM Agents»: там — широкий обзор агентов, здесь — рассуждения, поиск и планирование, агенты для кода и математики и безопасность.

На чём основана страница

Расписание, описание курса и состав заданий — из исходников сайта курса на GitHub (rdi-berkeley/llm-agents-mooc, файлы sp25.md и f24.md), пересказ лекций — по слайдам из папки slides того же репозитория. Лицензия на материалы не указана, поэтому лекции мы пересказываем своими словами и не переводим слайды подряд. Видео (YouTube) и сайт курса нашему прокси недоступны, таймкоды не приводим.

Что это за курс (перевод описания)

Агенты на основе больших языковых моделей (LLM) — важный рубеж ИИ, но им всё ещё не хватает ключевых навыков, таких как сложные рассуждения и планирование, чтобы решать трудные задачи и делать возможными сквозные применения в реальном мире. Опираясь на наш предыдущий курс, этот курс глубже погружается в продвинутые темы агентов LLM: рассуждения, ИИ для математики, генерацию кода и верификацию программ. Мы начнём с продвинутых техник инференса и пост-трейнинга для построения агентов LLM, которые умеют искать и планировать. Затем сосредоточимся на двух областях применения: математике и программировании. Мы изучим, как LLM доказывают математические теоремы, генерируют компьютерные программы и рассуждают о них.

Темы курса: техники рассуждения во время инференса; методы пост-трейнинга для рассуждений; поиск и планирование; агентные рабочие процессы, использование инструментов и вызов функций; LLM для генерации и верификации кода; LLM для математики (подготовка данных, продолженное предобучение, дообучение); агенты LLM для доказательства теорем и автоформализации.

Для кого: уровень 🟡→🔴. Нужно уверенно понимать, что такое LLM, промптинг, RL для языковых моделей и агентный цикл. В нашей программе это конец ступени 6 и ступень 8.

Как учиться по нему вместе с ChinaAI

1. Сначала основа. Уроки 8.3.1 «Цикл агента», 8.3.2 «Инструменты и MCP» и 6.4.1 «GRPO». Если хочется вводного обзора агентов — осенний курс 2024 года (см. ниже).

2. Лекции 1–4 — ядро курса. Рассуждения во время инференса, самоулучшение моделей, память и планирование, открытые рецепты пост-трейнинга. Они напрямую продолжают модули 6.3–6.4 и 8.3.

3. Лекции 5–7 — агенты в деле: код и безопасность, веб- и компьютерные агенты.

4. Лекции 8–11 — ИИ для математики и Lean. Самая специальная часть; берите, если интересны формальные доказательства.

5. Лекция 12 — безопасность агентов. Обязательна всем, кто строит агентов: вместе с уроком 8.3.4.

Карта лекций (весна 2025)

Важность — для того, кто идёт к LLM-агентам: ★★★ — обязательно, ★★ — полезно, ★ — по интересу.

№	Лекция	Лектор	Урок ChinaAI	Важность
1	Inference-Time Techniques for LLM Reasoning	Синьюнь Чэнь (Google DeepMind)	8.1.2 Промптинг, 6.4.4 Дистилляция и «мышление»	★★★
2	Learning to Reason with LLMs	Джейсон Уэстон (Meta)	6.3.3 DPO, 7.3.2 LLM как судья	★★★
3	On Reasoning, Memory, and Planning of Language Agents	Юй Су (Ohio State)	8.3.3 Планирование и память	★★★
4	Open Training Recipes for Reasoning in Language Models	Ханна Хаджиширзи (Univ. of Washington)	6.4.1 GRPO, 6.4.2 R1-Zero	★★★
5	Coding Agents and AI for Vulnerability Detection	Чарльз Саттон (Google DeepMind)	8.3.2 Инструменты	★★
6	Multimodal Autonomous AI Agents	Руслан Салахутдинов (CMU/Meta)	9.1.1 Модели «зрение — язык»	★★
7	Multimodal Agents — From Perception to Action	Кайминь Сюн (Salesforce AI Research)	9.1.1	★★
8	AlphaProof: when reinforcement learning meets formal mathematics	Томас Юбер (Google DeepMind)	6.4.1	★
9	Language models for autoformalization and theorem proving	Кайюй Ян (Meta FAIR)	—	★
10	Bridging Informal and Formal Mathematical Reasoning	Шон Уэллек (CMU)	—	★
11	Abstraction and Discovery with Large Language Model Agents	Сварат Чаудхури (UT Austin)	9.2.1 Фронтир 2026	★
12	Towards building safe and secure agentic AI	Дон Сонг (UC Berkeley)	8.3.4 Агентный RL и безопасность, 9.3.4 Red teaming	★★★

У каждой лекции на сайте курса — запись трансляции, слайды, тест из 5 вопросов и 2–4 статьи для дополнительного чтения.

О чём лекции (пересказ по слайдам)

1. Техники рассуждения во время инференса (Синьюнь Чэнь)

Главная мысль 2024 года: качество моделей растёт, если дать им больше вычислений во время ответа (o1, Gemini Flash Thinking, DeepSeek-R1). Лекция раскладывает приёмы на три группы:

• Больше токенов на одно решение — цепочка рассуждений (chain-of-thought): примеры с рассуждениями в промпте, «Let’s think step by step» без примеров, «аналогические» промпты, где модель сама вспоминает похожие задачи, автоматический подбор инструкции самой LLM (LLM как оптимизатор промптов), разбиение задачи «от простого к сложному» (least-to-most) и Self-Discover.
• Шире: поиск среди нескольких кандидатов — self-consistency (сгенерировать много решений и выбрать самый частый ответ), универсальная self-consistency для свободных ответов, отбор верификатором, Tree of Thoughts.
• Глубже: итеративное самоулучшение — Reflexion, Self-Refine, самоотладка кода по результатам тестов. Важное предостережение (по работе самих авторов, ICLR 2024): без внешней обратной связи модели плохо судят о своей правоте, и «самоисправление» рассуждений может даже ухудшить ответ; споры нескольких агентов не лучше простой self-consistency.

Как делить бюджет между параллельными и последовательными попытками — вопрос эмпирический, зависит от модели и задачи; иногда выгоднее много раз выбрать ответ у модели поменьше. Итог — «горький урок» Ричарда Саттона: выигрывают общие методы, которые масштабируются с вычислениями.

2. Учим LLM рассуждать и улучшать себя (Джейсон Уэстон)

Цель — ИИ, который как можно больше «учит себя сам»: придумывает задачи, оценивает свои ответы и обновляется. Различаются «Система 1» (один проход LLM, быстрая реакция — отсюда галлюцинации и угодничество) и «Система 2» (много вызовов: планирование, проверка, поиск). Разобраны Self-Rewarding LLMs (модель сама выставляет награды своим ответам и обучается на них через DPO), Iterative Reasoning Preference Optimization (предпочтения между верными и неверными цепочками рассуждений на задачах с проверяемым ответом), Chain-of-Verification, Meta-Rewarding (модель учится судить свои же суждения) и EvalPlanner — «думающий» LLM-судья, обученный на синтетически созданных парах «хороший / плохой ответ». Вывод: проверяемые награды помогают учить рассуждения, а хорошие судьи с рассуждениями позволяют учить и на непроверяемых задачах.

3. Память, рассуждения и планирование языковых агентов (Юй Су)

Два взгляда: «сделаем из LLM агента» (обвязка вокруг модели, упор на промпты) и «встроим LLM в агента» (все старые задачи ИИ — восприятие, модели мира, планирование — остаются, но решаются через язык). Темы лекции: долговременная память по мотивам гиппокампа (HippoRAG), неявные рассуждения трансформера, которые появляются после «гроккинга» (grokked transformers), и планирование на основе модели мира для веб-агентов. Открытые вопросы: непрерывное обучение агента, надёжные награды, баланс реактивного и модельного планирования, долгие горизонты.

4. Открытые рецепты обучения рассуждениям (Ханна Хаджиширзи)

Позиция: науке о LLM нужны полностью открытые модели — данные, код и веса (семейство OLMo из AI2). Разобраны этапы: предобучение и «mid-training» (последние ~1% бюджета на отборных данных с затуханием шага обучения), пост-трейнинг Tülu 3 (SFT → DPO → RLVR, обучение с подкреплением на проверяемых наградах) и масштабирование во время инференса s1: 1000 тщательно отобранных примеров плюс «budget forcing» — модель заставляют думать дольше, дописывая «Wait». Это прямое продолжение нашего модуля 6.4.

5. Агенты для кода и поиска уязвимостей (Чарльз Саттон)

Определение лектора: агент LLM — это «многоходовая LLM с инструментами»: динамическое время вычислений, внешняя информация, проверка гипотез, действия. Первая часть — как оценивают кодовых агентов (от HumanEval и MBPP до реальных задач). Вторая — ИИ для компьютерной безопасности: агент с отладчиком и интерпретатором Python ищет переполнения буфера (проект Naptime / Big Sleep), достигая лучших результатов на бенчмарке Meta CyberSecEval 2 и найдя реальную уязвимость в SQLite. Вывод: агентные техники естественно подходят для безопасности, область только открывается.

6–7. Мультимодальные агенты (Руслан Салахутдинов; Кайминь Сюн)

Агенты, которые работают в браузере и на компьютере по скриншотам: бенчмарки VisualWebArena и OSWorld, поиск по дереву действий во время инференса для веб-агентов, синтетическая генерация и проверка веб-задач, модель Aguvis для работы с интерфейсом «только по картинке», память для длинных видео (выбор нужных кадров). У Салахутдинова есть и робототехническая часть — планирование длинных задач с обучаемыми низкоуровневыми навыками.

8–11. ИИ для математики

• AlphaProof (Томас Юбер): RL в духе AlphaZero в формальной математике на языке Lean, где каждое доказательство проверяется автоматически. Система решала задачи Международной математической олимпиады 2024 года на уровне серебряной медали (вместе с AlphaGeometry 2). Отдельная идея — RL во время теста: для очень трудной задачи агент порождает её варианты и дообучается на них.
• Автоформализация и доказательство теорем (Кайюй Ян): почему математика и код — удобный полигон для рассуждений (ответы проверяемы), LeanDojo, перевод неформальных утверждений в Lean и трудности с геометрией, где доказательства опираются на чертёж.
• Мост между неформальной и формальной математикой (Шон Уэллек): модели, которые «думают неформально» перед формальным шагом (Lean-STaR), «набросок — доказательство» (Draft, Sketch, Prove) и бенчмарк miniCTX для настоящих проектов в Lean.
• Абстракция и открытия (Сварат Чаудхури): агенты LLM, которые ищут в пространстве гипотез и доказательств, используют априорные знания и выучивают библиотеку понятий (эволюционный поиск, управляемый LLM).

12. Безопасные и защищённые агентные системы (Дон Сонг)

Риски ИИ: злоупотребление, сбои, системные риски. Главный тезис: атакующий всегда идёт по стопам новой технологии, а с агентами ставки выше — они управляют реальными системами. Разобраны атаки на агентов (prompt injection, отравление памяти и баз знаний — AgentPoison), оценка рисков и восемь механизмов защиты: укрепление моделей, фильтры входа, контроль политик на действия, управление привилегиями, разделение привилегий, мониторинг, отслеживание потоков информации и безопасность «по построению» с формальной верификацией.

Задания курса

• Тесты — по 5 вопросов после каждой лекции (оцениваются за выполнение); архив тестов есть на сайте.
• Статья — пост в соцсети примерно на 500 слов с пересказом лекции или итогами обучения.
• Две лабораторные — генерация проверяемого кода агентом на Lean; условия и заготовки выложены в Google Drive (ссылки на сайте курса).
• Проект — конкурс AgentX с треками «предпринимательство» и «исследования».

Сертификаты выдавались по уровням (Trailblazer, Mastery, Ninja, Legendary, Honorary) в зависимости от выполненных заданий; курс завершён, но видео и слайды доступны.

Предыдущий курс: LLM Agents (осень 2024)

Если нужен более мягкий вход, начните с осеннего курса: 12 лекций с широким охватом — рассуждения LLM (Денни Чжоу), история и обзор агентов (Шуньюй Яо), фреймворки AutoGen и LlamaIndex, DSPy и составные системы (Омар Хаттаб), агенты для разработки ПО (Грэм Нойбиг), корпоративные агенты, нейросимвольное принятие решений, проект NVIDIA GR00T для роботов (Джим Фан), открытая наука в эпоху фундаментальных моделей (Перси Лян), измерение возможностей агентов и политика ответственного масштабирования Anthropic (Бен Манн), безопасные агенты (Дон Сонг). Страница — llmagents-learning.org/f24.

Что делать руками

1. После лекции 1 повторите self-consistency на своей локальной модели: 10 ответов с температурой 0,7 на задачи GSM8K и голосование по ответу — сравните с одним «жадным» ответом (урок 8.1.2).
2. После лекции 4 — урок 6.4.5 «GRPO на практике»: это и есть RLVR в миниатюре.
3. После лекции 12 — пройдитесь по своему агенту из урока 8.3.1 со списком восьми механизмов защиты: какие из них у вас уже есть?

Словарик

EN	RU
inference-time (test-time) compute	вычисления во время инференса (ответа)
chain-of-thought, zero-shot CoT	цепочка рассуждений, CoT без примеров
self-consistency, verifier	самосогласованность (голосование по ответам), верификатор
self-correction, self-refine, self-debugging	самоисправление, самоулучшение ответа, самоотладка
self-rewarding model	модель, сама выставляющая себе награды
post-training, RLVR	пост-трейнинг, RL с проверяемыми наградами
budget forcing	принудительное увеличение бюджета размышлений
world model, model-based planning	модель мира, планирование на основе модели
web / computer-use agent	веб-агент / агент для работы с компьютером
vulnerability detection	поиск уязвимостей
formal mathematics, theorem proving, autoformalization	формальная математика, доказательство теорем, автоформализация
prompt injection, memory poisoning	внедрение в промпт, отравление памяти
privilege separation, information flow tracking	разделение привилегий, отслеживание потоков информации