В прошлом году OpenAI вызвала всплеск интереса к генеративному ИИ, запустив своего чат-бота ChatGPT. За два месяца приложение привлекло 100 млн ежемесячных пользователей, установив рекорд по скорости роста. Сейчас в центре внимания вопрос о дезинформации, распространяемой ИИ, и OpenAI предлагает свой подход к решению этой проблемы. Однако некоторые независимые эксперты сомневаются в эффективности предложенного метода.
Проблема «галлюцинаций» ИИ и попытка OpenAI её решить
«Галлюцинации» ИИ, или дезинформация, происходят, когда модели, такие как ChatGPT или Google Bard, полностью выдумывают информацию, ведя себя, как будто они представляют факты. OpenAI в своем отчете отмечает, что даже самые передовые ИИ-модели склонны к генерации ложной информации, особенно в ситуациях неопределенности.
Стратегия OpenAI: «контроль процесса»
OpenAI предлагает новую стратегию борьбы с «галлюцинациями» ИИ, которая заключается в обучении моделей ИИ вознаграждать себя за каждый правильный шаг рассуждения, а не только за правильный итоговый вывод. Этот подход, названный «контроль процесса», по мнению исследователей, может привести к созданию более логичного ИИ, поскольку он стимулирует модели следовать «цепочке мыслей», аналогичной человеческой.
Сомнения экспертов и вопросы прозрачности
Несмотря на предложенные OpenAI решения, некоторые эксперты выразили сомнения в исследовании. Бен Уинтерс, старший советник Информационного центра электронной конфиденциальности и руководитель проекта «ИИ и права человека», заявил, что хотел бы изучить полный набор данных и сопутствующие примеры. Сара Майерс Вест, управляющий директор Института AI Now, отметила, что OpenAI не предоставила полной информации о данных, использованных для обучения и тестирования GPT-4, что создает препятствия для обеспечения подотчетности в области ИИ.
