ИИ может врать так убедительно, что хочется ему верить

У меня это случилось на совершенно обычной рабочей задаче.

Собирала очередную связку для своего онлайн-бизнеса: сервис → автоматизация → контент → публикация.

Спрашиваю ChatGPT, можно ли реализовать нужную мне функцию.

Можно. Конечно можно!

Дальше — подробная инструкция: куда зайти, что нажать, что подключить. Всё выглядит настолько убедительно, что остаётся только сделать.

Есть одна маленькая проблема.

Такой функции у сервиса не было.

ИИ её просто придумал.

Причём сделал это без тени сомнения. 😎

Вот это и называется галлюцинацией ИИ: модель не обязательно знает правильный ответ. Она генерирует наиболее вероятное продолжение на основе имеющихся данных.

И иногда вместо честного «я не знаю» получается очень красивая ерунда.

Для личного использования — неприятно.

Для бизнеса — уже дорого.

Представьте, что такой ответ автоматически попал в статью, пост, рассылку или инструкцию клиенту. А если система производит 100 материалов?

Поздравляю. Мы только что автоматизировали не контент.

Мы автоматизировали ошибку.

Поэтому в моей системе появился обязательный Human Check — последняя проверка человеком перед любой публикацией.

Что я проверяю обязательно:

— цифры и статистику;

— даты;

— цитаты и исследования;

— ссылки и источники;

— функции сервисов;

— тарифы и условия;

— всё, что влияет на деньги и решение клиента.

И ещё одно правило: если информация может измениться — ИИ должен искать актуальный источник, а не вспоминать ответ из своей «головы».

ЧТО ДЕЛАТЬ УЖЕ СЕГОДНЯ

Не спрашивайте только: «Это правда?»

Дайте ИИ другую задачу:

«Проверь утверждения в этом материале. Отдельно перечисли факты, которые требуют внешней проверки. Найди первоисточники. Если подтверждения нет — так и напиши. Не додумывай».

А после этого проверьте критичные вещи сами.

Я не собираюсь возвращаться к ручному производству контента только потому, что ИИ иногда фантазирует.

Наоборот.

Пусть ИИ делает работу десяти рук. Но право нажать условную кнопку «в мир» пока оставим человеку.

Моя формула сегодня выглядит так:

ИИ СОЗДАЁТ → ЧЕЛОВЕК ПРОВЕРЯЕТ → СИСТЕМА ПУБЛИКУЕТ → ДАННЫЕ ПОКАЗЫВАЮТ, ЧТО ДЕЛАТЬ ДАЛЬШЕ.

Автоматизировать нужно не скорость производства.

Автоматизировать нужно систему, в которой скорость не уничтожает качество.