Новый способ оценки эффективности систем искусственного интеллекта (ИИ) в области здравоохранения разработали московские специалисты. Методика уже апробирована в лучевой диагностике, но подходит и для других сфер медицины.
Разработку вели учёные Центра диагностики и телемедицины. Ранее оставался открытым вопрос о том, какое количество исследований требуется выполнить нейросети для адекватной оценки клинической картины. Тестирование выполняли на множестве образцов, что влекло за собой дополнительные траты времени и ресурсов. Теперь, благодаря новой методике от Центра диагностики и телемедицины, удалось установить конкретное число исследований, позволяющее определить точность ИИ. Это поможет и разработчикам новых технологий, и врачам, использующим ИИ в своей работе.
«Классические методы тестирования искусственного интеллекта не давали точного ответа на вопрос, сколько исследований необходимо для объективной проверки его точности. Сложность задач, которые решает ИИ в медицине, постоянно растёт, поэтому ученые Центра диагностики и телемедицины предложили альтернативный подход. Они проанализировали более двух миллионов комбинаций параметров тестовых выборок и 25 тысяч изображений, изучили поведение диагностических метрик и доказали, что необходимо не менее 400 исследований для получения стабильного результата. Минимальная доля каждого класса должна составлять не менее 10 процентов, то есть 40 исследований, а дальнейшее увеличение выборки не влияет на итоговую точность. Полученные данные не зависят от типа изображений или конкретной нейросети, что делает методику универсальной. Исследование проводилось на примере лучевой диагностики, но этот подход можно масштабировать и на другие медицинские системы ИИ с бинарной классификацией, что станет следующим этапом научной работы», — отметил главный рентгенолог Москвы Юрий Васильев.
Предложенный метод тестирования ИИ положительно повлияет на качество выполняемой диагностики и будет способствовать выявлению заболеваний на ранних сроках.
Источник: Департамент здравоохранения города Москвы
Юлия Ильина, специально для Агентства Особых Новостей (on24.media)
Фото из открытых источников