Российские разработчики создали платформу для самопроверки медицинских сервисов искусственного интеллекта

Перед тем, как внедрить сервис, работающий на основе искусственного интеллекта (ИИ), в рутинную клиническую практику, необходимо его протестировать на техническую готовность, а также проверить, насколько он соответствует заявленным характеристикам диагностической точности. Это называется аналитической валидацией алгоритма. Прошедшие ее сервисы допускаются к интеграции в работающие медицинские системы, в том числе городские системы здравоохранения.

Интеграция – процесс сложный и дорогой, поэтому она становится барьером для многих команд, которые не могут гарантировать требуемых точности и скорости работы алгоритма на данных системы, в которую они интегрируются. Сейчас аналитическая валидация проводится вручную. Ручная валидация допускает случайные или намеренные отклонения от утвержденной программы испытаний, позволяет манипулировать с наборами данных, а также может потенциально ставить в неравные условия участников тестирования.

Чтобы избежать указанных выше рисков и автоматизировать процесс проверки, обеспечив к нему доверие пользователей, специалисты Центра диагностики и телемедицины разработали платформу, позволяющую разработчикам сервисов на основе ИИ самостоятельно проводить предварительные испытания (аналитическую валидацию) своих алгоритмов. Прототип платформы опубликован на GitHub, и уже выложена первая версия сервиса обмена датасетом и результатами анализа данных.

«Платформа предоставляет возможность неограниченного количества обращений к единичным образцам экземпляров данных из тестового набора, чтобы донастраивать алгоритмы. На ней действуют единые правила пользования, и возможно одновременное проведение тестирования сразу нескольких сервисов. При этом платформа фиксирует время, которое программное обеспечение тратит на обработку данных (хронометраж), а разработчики получают автоматический отчет о результатах проведенного тестирования», - объясняет Сергей Морозов, директор Центра диагностики и телемедицины, главный специалист по лучевой и инструментальной диагностике.

Сейчас на платформу загружены эталонные наборы данных КТ органов грудной полости с признаками коронавирусной пневмонии (COVID-19), аналогичные тем, на которых тестируются алгоритмы участников Московского Эксперимента по компьютерному зрению. Доступ к датасетам смогут получить любые компании-разработчики после бесплатной регистрации и одобрения заявки: это позволит им за 15 минут протестировать алгоритм и провести его независимое сравнение с другими ИИ-сервисами. Оценка результатов выполняется автоматически, без «ручного» вмешательства. 

Благодаря автоматизации всего процесса на платформе для самотестирования минимизируется человеческий фактор, что делает манипуляцию с данными  (для улучшения результатов) невозможной. Помимо диагностической точности, платформа фиксирует хронометраж анализа медицинских изображений и принимает в качестве достоверных результатов только те, которые были получены в течение заданного промежутка времени. Кроме того, сравнение результатов проверки сервиса с эталонными данными абсолютно прозрачно – разработчик видит, по каким метрикам оно проводилось и как происходил подсчет окончательного результата, отображенного в итоговом отчете.

«Каждый желающий может принять участие в совершенствовании платформы и добавлять в нее необходимые метрики, по которым будет оцениваться работа алгоритма для тех или иных медицинских целей (например, для анализа рентгенограмм или маммограмм). Однако, дополнение платформы будет контролироваться: в платформу, работающую на базе Центра, попадут только те метрики, которые имеют научное обоснование», - отмечает Николай Павлов, разработчик платформы, руководитель проекта в  секторе медицинской информатики, радиомики и радиогеномики Центра диагностики и телемедицины.

Первоначально с помощью платформы можно будет работать только с КТ-снимками органов грудной полости для выявления признаков коронавирусной инфекции, однако в дальнейшем он охватит и другие клинические направления. Приоритетный вектор развития – направления, входящие в Эксперимент: обнаружение рака легкого и молочных желез, туберкулеза, прочих патологий легких, рассеянного склероза и других заболеваний. В будущем, после обеспечения необходимых требований к безопасности передаваемых данных, платформа может начать применяться в Эксперименте, чтобы расширить его возможности и упростить участие и смену версионности для разработчиков ИИ-сервисов.

Создатели платформы приглашают разработчиков алгоритмов машинного обучения, программистов и исследователей принять участие в дополнении и развитии платформы, чтобы в итоге в международном поле сформировался единый, универсальный и удобный инструмент для самопроверки алгоритмов искусственного интеллекта, предназначенных для медицинских целей. На данный момент такого инструмента, нацеленного именно на клиническое внедрение сервисов на основе технологий ИИ, не существует.