В очередном эпизоде из серии об обвязках агентов Research Insights Made Simple поговорим про опубликованное в сентябре 2026 года исследование "An Empirical Study of Harness Design for Coding Agents" (https://arxiv.org/abs/2609.20804v1). Авторы фиксируют цикл агента и меняют три компонента: планирование, инструменты и управление контекстом. Они сравнивают 176 экспериментальных настроек на четырёх моделях и двух наборах задач — SWE-bench Verified и Terminal-Bench 2.1.
Обсудим
- Когда управление контекстом спасает задачу от переполнения окна.
- Почему сокращение старых ответов инструментов перед пересказом может снизить стоимость.
- Как план помогает слабой модели продолжать работу, а сильной — вовремя остановиться.
- Когда нужны готовые инструменты, а когда достаточно bash.
- Как по траектории агента найти причину сбоя и проверить пользу изменения на своих задачах.
Выводы относятся к моделям, задачам и реализациям из исследования. Разберём, что стоит проверить перед переносом этих результатов в собственную систему.
Все выпуски Research Insights Made Simple: https://polomodov.tech/research-insights
Timeline
00:00 - Зачем разбирать обвязку на компоненты
02:07 - Общий цикл и три переменные эксперимента
03:19 - 176 настроек и неполный перебор сочетаний
04:40 - Модели, задачи и расчёт стоимости
07:52 - План вне истории разговора
09:47 - Готовые инструменты и bash
11:33 - Пять политик управления контекстом
13:51 - Что сохраняют и когда сокращают историю
15:43 - Предотвращённый обрыв и стоимость контекста
19:03 - Почему редко возвращают вытеснённые события
20:55 - План меняет момент остановки
24:27 - Инструменты: результат зависит от модели и задач
29:21 - Менять компоненты по одному
33:24 - Анализ траекторий и причины сбоев
40:09 - Выводы, ограничения бенчмарка и свои эксперименты

