Google Research и исследовательская лаборатория Google в области искусственного интеллекта DeepMind сообщили подробности о семействе передовых больших языковых моделей Med-Gemini, разработанных для применения в сфере здравоохранения.

ИИ-модели всё ещё находятся на стадии исследования, но авторы разработок утверждают, что Med-Gemini, основанные на модели Google Gemini, превосходят конкурирующие модели, такие как GPT-4 от OpenAI, обладают огромным потенциалом в клинической диагностике и превосходят отраслевые стандарты в 14 популярных профильных бенчмарках. В частности, в тесте MedQA (USMLE) модель Med-Gemini достигла точности 91,1 %, используя стратегию поиска, основанную на неопределённости, превзойдя медицинскую LLM Med-PaLM 2 компании Google на 4,5 %. Набор моделей также превзошёл людей в обобщении медицинских текстов и составлении рекомендаций, причём врачи в половине случаев оценивали ответы Med-Gemini-M 1.0 как хорошие или даже лучше, чем ответы экспертов.

Med-Gemini — это семейство больших мультимодальных моделей (LMM), каждая из которых имеет своё предназначение. В отличие от больших языковых моделей, которые «демонстрируют неоптимальные клинические рассуждения в условиях неопределённости», страдают галлюцинациями и предвзятостью, Med-Gemini дают «фактически более точные, надёжные и детальные результаты для сложных задач клинического обоснования», чем их конкуренты, включая GPT-4, утверждает Google.

По семи мультимодальным бенчмаркам, включая проверку по изображениям New England Journal of Medicine (NEJM), модель Med-Gemini показала гораздо лучшие результаты, чем GPT-4.