Когда агент не нужен и что делать с ошибками

После этого урока вы сможете за минуту решать, что подойдёт задаче: обычный чат, простая автоматизация или агент. И, что не менее важно, будете понимать, как агенты ломаются, чтобы замечать это раньше, чем ошибка доедет до готового результата.

Правило трёх вопросов

Выбор инструмента почти всегда сводится к трём вопросам, которые нужно задать именно в этом порядке. Они отсекают лишнее быстрее любых рассуждений о возможностях технологий.

• Задача решается за один шаг? Тогда это чат
• Шаги повторяются абсолютно одинаково каждый раз? Тогда это обычная автоматизация
• Шаги меняются, но цель остаётся прежней? Вот здесь уместен агент

Первый случай очевиден: переписать письмо, объяснить формулу, сократить текст — незачем строить систему вокруг одного действия. Второй встречается чаще, чем кажется: если порядок действий неизменен, обычное расписание или правило обойдётся дешевле, сработает быстрее и предсказуемее — и никогда не передумает. Агент оправдан в третьем случае, когда каждый раз немного другой набор писем, другой состав источников, другая структура входящего файла, а нужный результат описывается одинаково.

Каждую пятницу в 17:00 открой отчёт за неделю, выгрузи его в файл и отправь трём адресатам. Действуй самостоятельно.

Настроить расписание: пятница, 17:00 — выгрузка отчёта по сохранённому шаблону и отправка по фиксированному списку адресов. Агент здесь не нужен.

Почему ранняя ошибка дороже поздней

Агент опирается на собственный предыдущий шаг. Если на втором шаге он взял не тот файл, все дальнейшие действия будут выполнены безупречно и не по делу. В чате вы заметили бы это сразу, потому что смотрите на каждый ответ. У агента промежуточные шаги проходят мимо вас.

Выглядит это так: агент нашёл файл с похожим названием за прошлый период, аккуратно посчитал по нему выручку, корректно сравнил с ещё более старым периодом и написал уверенный, хорошо структурированный текст. Документ на выходе безупречен по форме и полностью неверен по содержанию. Именно спокойный уверенный тон делает такие ошибки опасными: их не хочется перепроверять.

• взял не тот источник или не ту версию файла
• принял устаревшие данные за актуальные
• зациклился: повторяет один и тот же шаг, не приближаясь к цели
• выполнил задачу формально, но не по смыслу
• отчитался об успехе, хотя часть работы не сделана

Надзор, который не съедает выгоду

Если проверять каждый шаг, экономии не будет: проще сделать самому. Смысл в том, чтобы проверять не всё подряд, а те точки, где ошибка либо становится необратимой, либо перестаёт быть заметной. Таких точек в обычной задаче немного.

• подтверждение человеком перед необратимым действием
• сплошная проверка первых запусков, дальше выборочная
• ограничение объёма: не больше оговорённого числа единиц за раз
• короткий журнал шагов, который можно пробежать глазами
• явное правило останавливаться при неуверенности, а не угадывать

Отсюда общий принцип: чем больше автономии вы даёте, тем точнее должны быть границы. Эти две вещи растут только вместе. Если вы расширяете свободу действий, не уточнив требования, вы просто увеличиваете разброс результатов и рано или поздно получите неприятный край этого разброса.

Задача: еженедельная сводка обращений клиентов.
1. Цель и признак «готово»: документ на одну страницу с разбивкой обращений по темам; готово, когда учтены все обращения за неделю.
2. Источники: папка «Обращения», справочник тем, сводка за прошлую неделю как образец.
3. Запрещено: писать клиентам, менять что-либо в исходных файлах.
4. Требует подтверждения: добавление новой темы в справочник.
5. Если данных не хватает: не додумывать, вынести обращение в раздел «Не классифицировано».
6. Как проверю за две минуты: сверю общее число обращений с числом файлов в папке и прочитаю раздел «Не классифицировано».

Честный расчёт выгоды

Агент почти никогда не окупается с первого запуска. Вы тратите время на формулировку цели, настройку доступов, описание границ и на первые внимательные проверки. Эти вложения возвращаются только повторяемостью: если задача возникает раз в квартал, дешевле сделать её руками, опираясь на обычный чат.

• задача разовая или возникает очень редко
• цена ошибки высока, а проверить результат трудно
• нет доступа к данным, без которых задача не решается
• вы сами не можете описать, как выглядит правильный результат
• порядок действий фиксирован — это работа для обычной автоматизации