Новости ML, AI и technical safety
Это регулярные встречи дискуссионной группы по ML, AI и technical safety. Мы ищем статьи, которые что-то значат для области, чтобы их обсудить и попытаться понять и их смысл, и их роль.
На этой неделе читаем:
- Optimal Policies Tend to Seek Power - попытка математического описания естественных аттракторов агентов: почему в достаточно неопределённом мире широкий диапазон целей может приводить к схожим промежуточным действиям;
- Frontier Models are Capable of In-context Scheming - о практических проблемах ограничения ИИ-агентов, включая их способность игнорировать поставленные временные рамки и ломать ограничивающие механизмы.
Чтобы поучаствовать во встрече, нужно:
- ️прочитать статью,
- ️прийти и обсудить прочитанное.