Открыт набор на «Курс AI Safety по Оценке LLM: Подходы, Бенчмарки и Методология»
Курс посвященный оценке (evaluations) LLM и агентных систем. Формирует системное понимание принципов, инструментов и практик оценки нейросетей. А также учит разрабатывать для них надёжные и содержательные метрики.
Текст "О чем Evals",
Участники научатся:
- анализировать существующие бенчмарки и метрики (MMLU, TruthfulQA, BIG-bench и др.);;
- применять современные инструменты (Inspect AI, OpenAI Evals, Im-eval-harness, Ragas);
- проектировать собственные оценки для LLM и агентных систем;
- понимать ограничения и области применимости различных подходов к evals.
Про содержание:
Курс состоит из двух этапов — учебного и проектного.
Во время учебного этапа изучаются методы построения и интерпретации оценок, проходят еженедельные практики, фасилитируемые обсуждения, даются технические задания.
На проектном этапе идёт разработка проекта под руководством ментора.
Среди наших менторов, специалисты из METR, Apollo Research, AIRI institute, Яндекс и др.
По окончанию курса участники имеют готовый проект в своем портфолио, сертификат о прохождении курса и абонемент на 3 месяца бесплатного коворкинга в ЦДО Моноид. Также, у лучших студентов будет возможность получения персональной карьерной консультация и приглашения на онлайн-конференцию.
Требования
- навыки программирования на Python
- базовое понимание концепций AI safety или готовность пройти 6-часовой экспрес-курс
- опыт в Evals приветствуется, но не является обязательным
Дополнительно:
- Курс бесплатный, но количество мест ограничено, поэтому заявки отбираются на конкурсной основе.
- Формат: либо оффлайн в Москве, либо онлайн
- Нагрузка: 15 часов в неделю
- Даты: с 24 января по 12 апреля 2026
Для подачи заявки, заполните форму по ссылке
Формат:
Курс состоит из двух этапов.
- Теоретический (5 недель): Изучаются методы построения и интерпретации оценок, проходят еженедельные практики, фасилитируемые обсуждения, участники выполняют технические задания
- с 24 января по 7 марта 2026
- Проектный (4 недели): Работа с ментором над индивидуальным или командным проектом (до 4 человек).
- Наши менторы: Менторы из METR, Apollo Research, AIRI institute, Яндекс и др.
- с 6 марта по 12 апреля 2026
Еженедельные задания:
- Техническое: ноутбуки по темам курса типа практика того что обсуждали теоретически с помощью инспекта и др инструментов
- Концептуальное: эссе по методологии принципам построения того что там на неделе сделать надо