Китайские исследователи представили AFLoc, мультимодальную визуально-языковую модель искусственного интеллекта, способную обнаруживать и локализовать патологии на медицинских изображениях без необходимости в предварительной ручной маркировке данных специалистами. Результаты инновационного исследования были опубликованы в авторитетном журнале Nature Biomedical Engineering.
Принцип работы и обучение модели
В основе AFLoc лежит метод многоуровневого семантического структурного контрастивного обучения. Этот подход позволяет ИИ-модели самостоятельно сопоставлять медицинские термины и концепции из текстовых отчетов с визуальными характеристиками на снимках. Первоначальное обучение проводилось на обширном наборе данных, состоящем из 220 000 пар рентгеновских снимков грудной клетки и сопутствующих им медицинских заключений.
Результаты и эффективность
Для проверки эффективности AFLoc была протестирована на 8 внешних наборах данных, которые охватывали 34 различных вида патологий грудной клетки. В ходе испытаний модель продемонстрировала превосходство над существующими методами в задачах локализации и классификации, выполняемых без предварительной разметки (zero-shot localization and classification). Примечательно, что система показала высокую способность к обобщению и на других типах медицинских изображений, включая гистопатологические срезы тканей и снимки глазного дна. В локализации пяти различных типов патологий модель превзошла результаты, показанные человеком.
Перспективы применения
Разработка AFLoc открывает новые возможности для автоматизации анализа медицинских изображений. Способность модели обучаться на неструктурированных данных значительно снижает трудозатраты и временные издержки, связанные с созданием маркированных датасетов. Внедрение подобных технологий в клиническую практику может ускорить диагностику, повысить ее точность и сделать передовые медицинские решения более доступными.