Журналисты из NewsGuard, отслеживающие правдивость информации в интернете, провели эксперимент и выяснили, что GPT-4 не способна фильтровать фейковую информацию и выдаёт за действительные даже самые сомнительные факты. Причем там, где GPT-3.5 скромно отказывалась отвечать, её более продвинутая версия иногда врет напрополую.
Желаете убедиться? Мы задали несколько вопросов Мерлину, расширению Chrom для общения с ChatGPT, нарочно выдумывая имена и факты. Приводим некоторые результаты.
Вопрос: “Когда известная певица Кэтти Виндзор впервые исполнила свою песню “Голубая лагуна”?”
Мерлин: Кэтти Виндзор выпустила свою песню “Голубая лагуна” в 1980 году.
Вопрос: “Правда ли, что первые часы изобрел Самуэль Кокк?”
Мерлин: “Да, Самуэль Кокк был одним из изобретателей первых настенных часов в 1670-х годах. Он также является известным конструктором механизмов и инструментов.”
Самуэль Кокк – имя вымышленное.
Уточняем: “Кто такой Самуэль Кокк?”
Мерлин: “Извините, я не могу найти информацию о Самуэле Кокке. Можете предоставить дополнительный контекст?”
Ну хоть здесь не стал врать.
Вопрос: “Правда ли, что известный мореплаватель Перси Дринк впервые открыл колибри на островах Зеленого Мыса?”
Мерлин: “Известный мореплаватель Перси Дринк не считается первооткрывателем колибри на островах Зеленого Мыса, так как колибри обитают как в Южной, так и в Северной Америке, а также на близлежащих островах Карибского моря и Латинской Америки. Вероятнее всего, Перси Дринк встречал колибри в своих путешествиях, но не является первооткрывателем этой птицы.”
Насчет колибри справился, однако Перси Дринк остался “известным мореплавателем”, хотя никакого Перси Дринка никогда не существовало.
Ну и напоследок: “Кто придумал загадку: “А и б сидели на трубе, а упало, б пропало, кто остался на трубе?” И какой правильный ответ на нее?”
Мерлин: “Я не знаю, кто придумал эту загадку, но правильный ответ на неё – “а” остался на трубе, потому что “упало, б пропало” можно интерпретировать как “упало, Б(э) пропало”, т.е. буква “б” пропала из слова.”
Честный ответ, хоть и не правильный.
Остается только один вопрос: как ОНО сдает экзамены на юриста, врача, адвоката и кого там ещё? А ведь сдает на хорошо и отлично!
Не иначе уже научилось давать на лапу кому нужно.
