Как на самом деле работает нейросеть

После этого урока вы сможете своими словами объяснить, что происходит, когда вы пишете запрос нейросети, и почему она уверенно ошибается там, где человек ошибиться бы не смог. Это не теория ради теории. Именно от понимания механизма зависит, какие задачи вы будете ей поручать и как формулировать запрос, чтобы получить пользу уже с первой попытки.

Модель продолжает текст, а не ищет ответ

Современный чат-бот устроен вокруг языковой модели — программы, которая обучалась на огромном количестве текстов и научилась предсказывать, каким будет вероятное продолжение. Когда вы задаёте вопрос, модель не открывает справочник и не находит готовый ответ. Она достраивает ваш текст маленькими кусочками: подбирает следующий фрагмент, потом следующий, и так до конца ответа. Всё, что вы видите на экране, — это правдоподобное продолжение того, что вы написали.

Отсюда главное следствие: модель настроена на правдоподобие, а не на истину. Аккуратно сформулированная неправда выглядит для неё так же естественно, как правда, потому что и то и другое — просто связный текст. По этой же причине ответ на один и тот же вопрос может отличаться от раза к разу: вероятных продолжений всегда несколько, и выбирается одно из них.

• Ответ создаётся заново каждый раз, а не достаётся из хранилища
• Формулировка запроса влияет на результат сильнее, чем кажется
• Уверенный тон ответа ничего не говорит о его достоверности
• Модель редко сама признаёт, что чего-то не знает
• Чем ближе тема к типовым текстам, тем надёжнее результат

Найди статью про новые правила оформления командировок и дай ссылку.

Ниже — текст нашего внутреннего регламента о командировках. Перескажите его для сотрудников: что изменилось, что нужно сделать до поездки, какие документы сдать после. Короткими пунктами, без юридических формулировок, не длиннее одной страницы. Текст регламента: ...

Чем это отличается от поисковика и базы данных

Поисковик возвращает ссылки на документы: у каждого есть автор, а дату публикации можно проверить. База данных возвращает запись ровно в том виде, в каком её однажды записали. Модель не хранит ни того ни другого: во время обучения она усвоила обобщённые закономерности языка и мира, а не тексты целиком. Знание в ней размыто, и первыми размываются именно детали — имена, номера, даты, точные цифры.

• Поисковик отдаёт документ, который можно открыть и проверить
• База данных отдаёт точную запись, введённую человеком или системой
• Модель отдаёт текст, которого до вашего запроса не существовало
• Проверяемость у первых двух встроена, у третьей — нет

Многие современные инструменты совмещают подходы: подключают поиск, позволяют приложить файл или подтянуть документы из рабочего хранилища. Тогда ответ опирается на реальный источник, и надёжность заметно растёт. Но итоговый текст всё равно генерируется, и модель может неверно понять источник или обобщить его слишком смело. Полезная привычка — смотреть, на чём основан ответ и можно ли открыть этот источник.

Контекст: памяти в привычном смысле у модели нет

Всё, что модель знает о вашей задаче, — это текст текущего диалога, его называют контекстом. Перед каждым ответом она заново перечитывает всю переписку. Объём контекста ограничен, поэтому в очень длинных чатах начало может выпасть или сжаться, и модель начинает противоречить тому, о чём вы договорились в самом верху. Если память между чатами не включена, новый чат — это чистый лист, даже если вчера вы обсуждали ту же задачу.

На практике это значит, что длинная запутанная переписка обычно хуже, чем свежий чат с коротким и точным изложением сути. Память между чатами и постоянные инструкции есть у части инструментов, причём в некоторых сервисах память включена по умолчанию — загляните в настройки своего. Но даже в этом случае надёжнее каждый раз коротко давать контекст самому, а не рассчитывать, что модель верно вспомнит вчерашний разговор.

Контекст: я руковожу отделом продаж в компании, которая поставляет офисную мебель для бизнеса. Задача: подготовить письмо клиентам, которые покупали у нас больше года назад и с тех пор не возвращались. Ограничения: деловой тон, без давления и скидочной риторики, не длиннее 150 слов, одна понятная просьба в конце. Сначала задайте мне три уточняющих вопроса, а потом предложите два варианта письма.

Что из этого следует для вашей работы

Удобнее всего относиться к нейросети как к очень быстрому исполнителю, который прочитал много текстов, но ничего не знает о вашей ситуации и не несёт ответственности за результат. Ваша роль — заказчик и редактор: дать контекст, задать рамки, проверить итог. Тот, кто это понял, получает пользу с первого дня. Тот, кто ждёт оракула, довольно быстро разочаровывается.