В недавнем исследовании, опубликованном в JAMA Network Open, изучалась точность и достоверность информации о питании, предоставляемой двумя версиями чат-ботов-трансформеров с предварительным обучением (ChatGPT).

Их результаты показывают, что, хотя чат-боты не могут заменить диетологов, они могут улучшить общение между медицинскими работниками и пациентами, если их усовершенствовать и усилить.

Исследование: Последовательность и точность искусственного интеллекта для предоставления информации о питании. Фото предоставлено Ириной Имаго /Shutterstock.com

Справочная информация

Многие люди сегодня зависят от Интернета в плане доступа к информации о здоровье, лекарствах, продуктах питания и диетическом питании. Однако исследования показали, что почти половина информации о питании в Интернете низкого качества или неточна.

Чат-боты с искусственным интеллектом (ИИ) обладают потенциалом оптимизировать то, как пользователи ориентируются в огромном массиве общедоступных научных знаний, предоставляя разговорные, простые для понимания объяснения сложных тем.

Предыдущие исследования оценивали, насколько хорошо чат-боты могут распространять медицинскую информацию, но их надежность в предоставлении информации о питании остается относительно неизученной.

Об исследовании

В этом перекрестном исследовании исследователи следовали руководству по усилению отчетности о наблюдательных исследованиях в эпидемиологии (STROBE). Они оценили точность информации, предоставленной ChatGPT-3.5 и ChatGPT-4 о макронутриентах (белках, углеводах и жирах) и энергетическом содержании 222 продуктов на двух языках – традиционном китайском и английском.

Они предоставили запрос, в котором чат-боту предлагалось сгенерировать таблицу, содержащую профиль питательности каждого продукта в сыром виде. Этот поиск проводился в сентябре-октябре 2023 года.

Каждый поиск проводился пять раз для оценки согласованности; коэффициент вариации (CV) рассчитывался по этим пяти измерениям для каждого продукта.

Точность ответов чат-бота оценивалась путем сопоставления его реакций с рекомендациями диетологов в соответствии с базой данных о составе пищевых продуктов, которую ведет Управление по контролю за продуктами питания и лекарствами Тайваня.

Ответ считался точным, если оценка чат-ботом количества энергии (в килокалориях) или макронутриентов (в граммах) находилась в пределах 10-20% от того, что предоставили диетологи.

Исследователи также подсчитали, значительно ли ответы чат-ботов отличались от рекомендаций диетологов и между двумя версиями ChatGPT.

Выводы

Не было обнаружено существенных различий между оценками, предоставленными чат-ботами и диетологами относительно содержания жиров, углеводов и энергии в восьми меню для взрослых. Однако исследователи обнаружили, что оценки содержания белка значительно различались. Ответы чат-бота были признаны точными в отношении содержания энергии в 35-48% из 222 включенных продуктов и имели CV ниже 10%. ChatGPT-4, более поздняя версия, в целом работала лучше, чем ChatGPT-3.5, но имела тенденцию к завышению уровня белка.

Выводы

Исследование показывает, что ответы чат-ботов в определенных отношениях хорошо согласуются с рекомендациями диетологов, но могут завышать уровень белка, а также демонстрировать высокий уровень неточности.

Поскольку они становятся широко доступными, у них есть потенциал стать удобным инструментом для людей, которые хотят найти информацию о макроэлементах и энергии в обычных продуктах питания и не знают, к каким ресурсам обратиться.

Однако авторы подчеркивают, что чат-боты не являются заменой диетологам; они могут улучшить общение между пациентами и специалистами общественного здравоохранения, предоставляя дополнительные ресурсы и упрощая сложный медицинский язык до разговорных, понятных терминов.

Они также отмечают, что продукты, которые они включили в поиск, могут употребляться нечасто, что влияет на актуальность их выводов.

Чат-боты с искусственным интеллектом не могут предоставлять пользователям персонализированные рекомендации по питанию или точные размеры порций, а также генерировать конкретные рекомендации по питанию. Более того, чат-боты могут быть не в состоянии адаптировать свои ответы к региону проживания пользователя.

Размеры порций и единицы потребления сильно различаются в разных странах, а также в зависимости от типа пищи и способа ее приготовления. Чат-боты не могут учитывать важные культурные и географические различия или предоставить соответствующие единицы измерения для каждого потребителя.

Возможно, наиболее важным ограничением является то, что ChatGPT — это чат–бот общего назначения, а не специально обученный диетологии и правильному питанию.

Набор данных для обучения был ограничен сентябрем 2021 года, поэтому более поздние исследования не были бы включены. Пользователи не должны путать чат-ботов с поисковыми системами, поскольку их ответы являются продуктом их обучающих наборов данных, а также формулировок подсказок.

Однако, учитывая огромную популярность чат-ботов и других форм генеративного ИИ, будущие продукты преодолеют эти ограничения и будут предоставлять все более точную, обновленную, актуальную и практическую информацию о рационе питания.