Проектирование обвязки для ко… | Лучшие подкасты на русском языке

Проектирование обвязки для кодинговых агентов: что даёт обвязка

13.10.2026 46:26

В очередном эпизоде из серии об обвязках агентов Research Insights Made Simple поговорим про опубликованное в сентябре 2026 года исследование "An Empirical Study of Harness Design for Coding Agents" (https://arxiv.org/abs/2609.20804v1). Авторы фиксируют цикл агента и меняют три компонента: планирование, инструменты и управление контекстом. Они сравнивают 176 экспериментальных настроек на четырёх моделях и двух наборах задач — SWE-bench Verified и Terminal-Bench 2.1.

Обсудим

  • Когда управление контекстом спасает задачу от переполнения окна.
  • Почему сокращение старых ответов инструментов перед пересказом может снизить стоимость.
  • Как план помогает слабой модели продолжать работу, а сильной — вовремя остановиться.
  • Когда нужны готовые инструменты, а когда достаточно bash.
  • Как по траектории агента найти причину сбоя и проверить пользу изменения на своих задачах.

Выводы относятся к моделям, задачам и реализациям из исследования. Разберём, что стоит проверить перед переносом этих результатов в собственную систему.

Все выпуски Research Insights Made Simple: https://polomodov.tech/research-insights

Timeline
00:00 - Зачем разбирать обвязку на компоненты
02:07 - Общий цикл и три переменные эксперимента
03:19 - 176 настроек и неполный перебор сочетаний
04:40 - Модели, задачи и расчёт стоимости
07:52 - План вне истории разговора
09:47 - Готовые инструменты и bash
11:33 - Пять политик управления контекстом
13:51 - Что сохраняют и когда сокращают историю
15:43 - Предотвращённый обрыв и стоимость контекста
19:03 - Почему редко возвращают вытеснённые события
20:55 - План меняет момент остановки
24:27 - Инструменты: результат зависит от модели и задач
29:21 - Менять компоненты по одному
33:24 - Анализ траекторий и причины сбоев
40:09 - Выводы, ограничения бенчмарка и свои эксперименты

Ничего не играет
00:00 / 00:00