Качество автоматизированного выявления синусита по результатам рентгенографии в условиях практического здравоохранения (проспективное диагностическое исследование)

В рамках Московского Эксперимента ИИ-сервисы успешно проанализировали 126 547 рентгенограмм околоносовых пазух

Введение

В последние годы и в Российской Федерации, и в глобальной перспективе имеет место стойкая тенденция к росту заболеваемости синуситом [1-6]. Каждый год регистрируется свыше 10 млн случаев острого заболевания, а в целом до 17,0% взрослого населения страдает различными формами синусита [1-6]. Очевидно, что такое количество пациентов создает нагрузку на службы лучевой диагностики, особенно первичного звена здравоохранения. Так, по данным статистической формы № 30 за 2023 г. количество выполненных рентгенограмм околоносовых пазух в Российской Федерации превысило 3,5 млн. Для более эффективного использования дефицитных кадровых ресурсов, сокращения сроков ожидания медицинской помощи и повышения ее качества необходимо использовать и те возможности автоматизации процессов, которые обеспечивают технологии искусственного интеллекта (ИИ). Однако потенциальные возможности требуют изучения в соответствии с принципами доказательной медицины.

Технологии ИИ в оториноларингологии находятся на начальном этапе своего развития. Ряд авторов отмечают наличие значительного потенциала ИИ для улучшения качества диагностических и лечебных процедур. Среди основных проблем указывают на возможные нарушения в области конфиденциальности персональных данных и общей информационной безопасности [7]. В России и в мире ведутся разработки решений для автоматизированного анализа медицинской визуализации в контексте диагностики заболеваний среднего уха, гортани, носоглотки [8-10]. Вместе с тем количество таких научных работ минимально, а качественно практически все они представляют собой ограниченные лабораторные исследования.

Цель исследования: изучить диагностическую точность программного обеспечения на основе технологий ИИ для диагностики верхнечелюстного и фронтального синусита (J01, J32) при его применении в условиях практического здравоохранения.

С 2020 г. в Москве проводится эксперимент по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения города Москвы (mosmed.ai). В его рамках десятки продуктов на основе технологий ИИ (так называемые ИИ-сервисы) работают в условиях практического здравоохранения, проходя при этом всестороннюю оценку, в том числе с применением оригинальных, специально разработанных методологий. В настоящее время Московский Эксперимент - это крупнейшее в мире проспективное многоцентровое клиническое исследование применимости, безопасности и качества технологий ИИ в лучевой диагностике [11]. Уникальное отличие Московского 

Эксперимента заключается в том, что тестирование ИИ-сервисов на эталонных наборах данных (общепринятое и фактически осуществляемое в 90,0% научных публикациях на тему ИИ) - всего лишь один, относительно небольшой его этап. Ключевой и наиболее масштабный компонент Московского Эксперимента - это изучение ИИ-сервисов в условиях эксплуатации в практическом здравоохранении, т.е. в процессе их работы с потоком результатов лучевых исследований. 

Здесь открываются уникальные возможности для всестороннего изучения качества, точности и эффектов от внедрения технологий ИИ, причем в контексте решения конкретной клинической задачи.

Материал и методы

В исследование включены ИИ-сервисы:

1.     AI RADIOLOGY SXR (АНО ВО “Университет Иннополис”).

2.     АПК АрхиМед Aivory AI Nose X (ООО “АртВижн”).

3.     Просвет. РГ лицевого черепа. Синусит (ООО “Оксиджен Технолоджиес Рус”).

4.     А-рг-синусит (ООО “Эирвэй ИИ”).

Для обеспечения непредвзятого изложения и оценки в последующем тексте статьи ИИ- сервисы анонимизированы.

Референс-тест: оригинальная методология клинического мониторинга работы технологий ИИ в условиях практического здравоохранения. Включает регулярные процедуры формирования выборки, отвечающей установленным требованиям; двойной экспертный пересмотр; оценку результатов работы ИИ-сервисов по критериям “трактовка (заключение)” и “локализация (маркировка)” патологии, определение интегральной клинической оценки (стремится к 100,0%); построение четырехпольной таблицы результатов и расчет показателей чувствительности, специфичности, площади под характеристической кривой [12-14].

В рамках Московского Эксперимента [11] каждый ИИ-сервис интегрировался в тестовый контур ЕРИС ЕМИАС и проходил процедуры входного тестирования. При выполнении установленных требований к надежности и качеству ИИ-сервис получал допуск в промышленный контур ЕРИС ЕМИАС для работы с реальным потоком результатов лучевых исследований. Ежемесячно проводились процедуры клинического мониторинга, позволяющие оценивать качество и точность работы ИИ-сервиса в условиях практического здравоохранения.

Ежемесячный мониторинг каждого ИИ-сервиса проводился на всей совокупности данных, доступной в рамках Московского Эксперимента, т.е. анализировались все исследования, направленные на обработку ИИ-сервисам за отчетный период. Для клинической части мониторинга формировалась подвыборка в соответствии с утвержденными нормативными документами и методическими подходами Московского Эксперимента.

Для направления “диагностика верхнечелюстного и фронтального синусита (J01, J32)” на разных этапах Московского Эксперимента объемы выборок составляли 80 или 400 исследований, что соответствовало установленным регламентам и этапам проведения мониторинга ИИ-сервисов. Итоговый размер выборки для каждого ИИ-сер- виса в данной работе определяется как сумма всех подвыборок, сформированных за весь исследуемый период, с учетом количества отчетных периодов, которые прошел каждый сервис.

Для статистического анализа данных использовались стандартные методы оценки диагностической точности, включая построение четырехпольных таблиц и расчет чувствительности, специфичности, площади под ROC-кривой (AUC). Расчеты проводились с использованием Python (библиотеки pandas, scikit-learn, statsmodels). Для каждой диагностической оценки представлены 95% доверительные интервалы, рассчитанные методом Уилсона (для чувствительности и специфичности), методом ДеЛонга (для AUROC).

Результаты исследования

С октября 2023 г. по декабрь 2024 г. ИИ-сер- висами для выявления синусита проанализированы результаты 126 547 рентгенограмм околоносовых пазух. Наибольшую долю из них (53,0%) обработал ИИ-сервис-4. Отличия в объемах проанализированных исследований обусловлены различной длительностью работы ИИ-сервисов в Эксперименте (табл. 1).

Результаты работы ИИ-сервисов в виде дополнительной серии изображений и проекта текстового описания сохранялись в ЕРИС ЕМИАС и становились доступны врачам-рентгенологам для формирования окончательного протокола. Согласно утвержденным базовым диагностическим требованиям, ИИ-сервисы выявляли рентгенологические признаки отека слизистой или наличия жидкости, содержимого в пазухе (в виде наличия затемнения околоносовых пазух, включая снижение или отсутствие пневматизации, формирование горизонтального уровня жидкость-воздух в пазухе). Соответственно результаты анализа содержали вероятность наличия патологии (в виде числа); локализацию патологических находок (в виде маркировки и текста) с указанием конкретной пазухи и находок в ней; указание наличия горизонтального уровня жидкости или тотального отсутствия пневматизации околоносовых пазух, дефектов костной стенки пазухи (с их маркировкой); площадь затемнения в процентах от общей площади пазухи [15].

Таблица 1. Объемы рентгенограмм околоносовых пазух, проанализированные ИИ-сервисами в период исследования

Таблица 2. Объемы рентгенограмм околоносовых пазух, включенных в клинический мониторинг качества ИИ-сервисов

Для каждого ИИ-сервиса регулярно проводились процедуры клинического мониторинга; всего в них были включены результаты 2320 рентгенограмм околоносовых пазух (табл. 2). Как и в предыдущей таблице, отличия в объемах включенных исследований обусловлены различными сроками работы ИИ-сервисов в Московском Эксперименте.

В соответствии с оригинальной методологией, разработанной и верифицированной в рамках Московского Эксперимента, в каждом случае оценивалась правильность выявления и классификации патологии, а также точность ее локализации, интегрально определялась клиническая оценка [11, 13].

Таблица 3. Результаты клинического мониторинга качества ИИ-сервисов для анализа рентгенограмм околоносовых пазух

Результаты клинического мониторинга представлены в табл. 3.

В условиях практического здравоохранения наиболее высокий уровень диагностической точности отмечен у ИИ-сервиса-1 - площадь под характеристической кривой составила 0,98. Практически идентичным оказался ИИ-сервис-2, этот же показатель у него составил 0,95. Оба решения имели более высокую специфичность, нежели чувствительность, т.е. на фоне некоторого риска пропуска случаев с синуситом имела место высокая вероятность правильной его дифференциальной диагностики в случае выявления патологических признаков.

Также ИИ-сервисы-1 и 2 отличала более высокая интегральная клиническая оценка - 95,1 и 83,3% соответственно, что свидетельствовало о точности определения не только факта наличия синусита, но и локализации процесса, а также выполняемых измерений.

На этом фоне ИИ-сервисы-3 и 4 отличались принципиально худшими показателями: клиническая оценка составила 76,6 и 79,4%, площадь под характеристической кривой - лишь 0,89. ИИ- сервис-3 отличался самой низкой специфичностью (0,65).

Примеры с результатами работы ИИ-сервисов представлены на рис. 1-6.

Рис. 2. Пример ложноположительной оценки ИИ-сервисом-3 рентгенограммы околоносовых пазух: выявлены признаки синусита при их отсутствии. Слева - рентгенограмма черепа в носоподбородочной проекции (женщина, 42 года). Справа - изображение из дополнительной серии ИИ-сервиса с результатами анализа рентгенограммы (красный контур - снижение пневматизации околоносовых пазух). Визуализируются искривление носовой перегородки, утолщение слизистой носовых ходов. Заключение от сервиса: “рентгенологические признаки хронического синусита: снижение пневматизации в правой гайморовой пазухе, пазуха затемнена на 14%”.

Рис. 3. Пример истинно положительной оценки и некорректной локализации (пазухи и патологические изменения выбраны правильные, но контуры неточные) ИИ-сервисом-2 и ИИ-сервисом-3 рентгенограммы околоносовых пазух (женщина 66 лет). Слева - изображение из дополнительной серии ИИ-сервиса-2 с результатами анализа рентгенограммы (желтый контур - границы околоносовых пазух, красный контур - снижение пневматизации околоносовых пазух). Справа - изображение из дополнительной серии ИИ-сервиса-3 с результатами анализа рентгенограммы (красный контур - снижение пневматизации околоносовых пазух, синий контур - отсутствие пневматизации). Визуализируется незначительное утолщение слизистой правой верхнечелюстной пазухи, субтотальное затемнение левой верхнечелюстной пазухи. Заключение от ИИ-сервиса-2: “снижение пневматизации левой верхнечелюстной пазухи с площадью затемнения 90,86%, левосторонний верхнечелюстной синусит”. Заключение от ИИ-сервиса-3: “снижение пневматизации в правой гайморовой пазухе, пазуха затемнена на 43%; отсутствие пневматизации в левой гайморовой пазухе, пазуха затемнена на 95%”.

 Рис. 4. Пример ложноотрицательный оценки ИИ-сервисом-4 рентгенограммы околоносовых пазух. Слева - рентгенограмма черепа в носоподбородочной проекции (женщина 76 лет). Справа - изображение из дополнительной серии ИИ-сервиса с результатами анализа рентгенограммы. Визуализируется тотальное затемнение левой верхнечелюстной пазухи. Заключение от сервиса: “целевая патология не выявлена”.

Обсуждение

Вопросы применения технологий ИИ для диагностики синуситов рассматриваются, фактически, в единичных научных статьях. Например, в два систематических обзора 2024 г. по данной тематике включено всего 24 статьи (10 об автоматизированной обработке результатов компьютерной томографии и 14 - рентгенографии) [16, 17]. Одиночные работы посвящены оппортунистическому выявлению синуситов на результатах ортопантомографии и конусно-лучевой компьютерной томографии в стоматологической практике [18-20]. Такая ситуация объясняется менее выраженной социально-экономической и медицинской значимостью воспалительных заболеваний околоносовых пазух по сравнению с такими фундаментальными проблемами здравоохранения, как онкологические, хронические неинфекционные заболевания, туберкулез и пр. Вместе с тем в рамках отдельной взятой клинической специальности - оториноларингологии - вопросы быстрой и точной диагностики синуситов чрезвычайно важны в силу высокой распространенности этой патологии. Существенный факт состоит в том, что порядка 19,4% пациентов с этим заболеванием нуждается в неотложном лечении в условиях стационара [1-6, 21]. При этом данные пациенты могут первично обращаться к смежным с оториноларингологами специалистам: врачам-стоматологам, врачам челюстно-лицевым хирургам. Поэтому от корректной и быстрой диагностики зависят не только нагрузка на соответствующие медицинские организации, но и правильная маршрутизация пациентов, а следовательно, расход разных видов ресурсов системы здравоохранения в целом.

Большинство научных статей о применении ИИ для дифференциальной диагностики синусита сфокусированы на применении методов радиомического анализа результатов компьютерной или магнитно-резонансной томографии [16, 22-24]. Это важное, но совершенно отдельное направление, причем практически неактуальное для первичного звена здравоохранения. Радиомика в сочетании с высокотехнологичными лучевыми исследованиями - это преимущественно инструмент специализированной медицинской помощи, оказываемой в условиях стационара. На этом фоне наше исследование посвящено автоматизированному анализу результатов рентгенографии, поэтому оно направлено на решение более массовой проблемы быстрой и точности диагностики синусита при оказании медицинской помощи в амбулаторных условиях.

В научных статьях, посвященных автоматизированному анализу результатов рентгенографии, представлено описание процессов разработки и сопоставления точности моделей. В систематическом обзоре о применении ИИ и машинного обучения в ринологии, опубликованном в 2023 г., удалось собрать 39 статей, из которых 29 (почти 75,0%) носили исключительно “технический характер”; разработанные модели не испытывали на реальных клинических данных, а заявленные метрики точности невозможно было подтвердить, так как разработчики не помещали код своих программных решений в открытом доступе [25]. Очевидно, что для медицинской науки и практики ценность таких публикаций стремится к нулю.

На этом фоне особенно ценными являются исследования, подтверждающие диагностическую точность программных решений на основе технологий ИИ в условиях реальной клинической практики. Так, в недавнем исследовании на базе городской клинической больницы была проведена оценка сервиса для анализа рентгенограмм органов грудной клетки. Полученные результаты подтвердили высокую скорость формирования предварительного заключения (до 15 с) при сохранении роли врача в интерпретации и принятии окончательного диагностического решения [26].

Дополнительный интерес вызывает направление, связанное с учетом индивидуального стиля аннотирования врачей-рентгенологов при обучении нейросетей: как показано в исследовании Е.Д. Никитина, включение информации о врачеразметчике в архитектуру модели может значительно повысить ее точность при детекции патологических изменений [27].

По данным опубликованного в 2024 г. систематического обзора, диапазон общей точности моделей ИИ для диагностики синусита на результатах рентгенографии составляет 0,757-0,997, а площади под характеристической кривой

Рис. 7. Динамика уровня клинической оценки ИИ-сервисов для анализа результатов рентгенографии с целью выявления признаков синусита (по оси абсцисс - условные периоды наблюдения, по оси ординат - уровень оценки в процентах).

Нами проведено изучение качества и точности ИИ-сервисов в условиях практического здравоохранения. Исследуемые программные продукты работали с потоком рентгенограмм околоносовых пазух, выполняемых в городских поликлиниках на различном оборудовании, в том числе с наличием различных отклонений в качестве позиционирования (укладки) пациентов. По оригинальной методике проводился регулярный мониторинг, позволивший объективно охарактеризовать диагностическую ценность технологий ИИ для решения задач диагностики заболеваний ЛОР-органов.

Полученные нами средние значения клинической оценки (83,6%) и площади под характеристической кривой (0,93) позволяют утверждать, что технологии ИИ потенциально применимы для диагностики верхнечелюстного и фронтального синуситов по данным рентгенографии, в том числе при оказании медицинской помощи в амбулаторных условиях. Вместе с тем качество работы конкретных программных продуктов в реальных условиях практического здравоохранения значительно варьирует. От периода к периоду значения точности и качества (клинической оценки) колеблются; крайне редко наблюдаются периоды стабильности (рис. 7).

Выводы

1.     В рамках Московского Эксперимента внедрен ряд ИИ-сервисов для диагностики верхнечелюстного и фронтального синуситов, которые за период 2023-2024 гг. успешно проанализировали 126 547 рентгенограмм околоносовых пазух.

2.     Средний уровень диагностической точности (площадь под характеристической кривой) составил 0,93, а диагностического качества (интегральной клинической оценки) - 83,6%; это свидетельствует о применимости соответствующих программных продуктов на основе технологий искусственного интеллекта в практическом здраво охранении.

3.     Программные продукты различаются между собой уровнем точности и качества, что требует тщательного выбора оптимального решения, а в целом - регулярного мониторинга безопасности и качества. Разработанные и валидированные в рамках Московского Эксперимента методологии и технические решения позволяют осуществлять такой мониторинг эффективно и с минимальными затратами.

4.     Достигнутый уровень качества ИИ-сервисов для диагностики верхнечелюстного и фронтального синуситов позволяет рассмотреть вопрос трансформации процессов взаимодействия вра- чей-рентгенологов, врачей-отоларингологов, а также врачей смежных специальностей: стоматологов и челюстно-лицевых хирургов, чему будут посвящены дальнейшие исследования.

Таким образом, использование технологий искусственного интеллекта для диагностики синуситов в широкой клинической практике продемонстрировало, что соответствующие решения уже сегодня достигают уровня, необходимого для существенного повышения эффективности рентгенологической диагностики. Результаты эксперимента свидетельствуют не только о зрелости современных ИИ-продуктов, но и подчеркивают важность системного подхода к их оценке, внедрению и постоянному мониторингу. Полученный опыт подтверждает целесообразность дальнейшего развития и масштабирования подобных сервисов, а также актуальность трансформации традиционных моделей взаимодействия между специалистами различных медицинских направлений в условиях цифровизации здравоохранения.

Список литературы