Одна из наиболее актуальных и перспективных медицинских задач — анализ изображений: уже очень скоро нейросети будут анализировать рентгеновские и томографические снимки, давать подсказки диагностам и рекомендации пациентам. Искусственный интеллект в медицине — это огромные возможности для инвесторов (McKinsey оценивает потенциал мирового рынка в $5-10 трлн) — и огромные риски: отличить перспективные проекты от тупиковых и мошеннических не просто. Соосновательплатформы для медицинских онлайн-консультаций Doctor Smart Павел Ройтберг рассказывает о своей методике распознавания бессмысленных медицинских стартапов. Пригодится всем, кто планирует инвестировать в проекты, связанные с использованием нейросетей (не только медицинские), — и тем, кто эти проекты делает и хочет произвести впечатление на потенциального инвестора.
Когда мы начали искать партнеров для своего стартапа и общаться с командами, выяснилось, что большинство из них просто не понимают, что делают. Мы хотели изучить рынок и найти коммерчески готовые технологии, но все оказалось сложнее. Поэтому спустя не один десяток встреч мы выработали свою методику общения с любыми командами в области искусственного интеллекта. Этот базовый набор вопросов поможет отличить пустословов и банальных аферистов от людей, ясно видящих свою цель, бизнес-нишу и понимающих, какие ресурсы им нужны для достижения успеха.
1. Команда
Кто из ее лидеров работал в реальных медицинских учреждениях, каких результатов добился и публиковался ли в международных (OK, хотя бы в российских) рецензируемых научных изданиях? От этого будет зависеть, насколько реалистичны представления этих людей о современной медицинской науке. Важно также знать, кто работал над нейросетями в других проектах и понимает, как делать свой.
2. Стадия проекта
Если это голая идея — просто идите дальше: на рынке уже есть около 10 проектов, которые на несколько стадий впереди. Риски с проектом на стадии идеи очень высоки. Если у проекта есть первые результаты (например договоры на необходимые данные, сами данные, работающая нейросеть, команда) — можно продолжать разговор.
3. Данные
Нужно узнать, из каких данных и что будет извлекать искусственный интеллект. Если вам рассказывают, что он будет анализировать истории болезни пациентов и находить новые пути лечения, — спросите, какие языки лингвистически умеет читать их нейросеть. Ответ зависим от рынка, на который планирует выходить стартап, но хороший набор языков включает русский, английский и, возможно, китайский. С кем из докторов обсуждалась гипотеза анализа? Важно, чтобы это были реальные практикующие врачи с хорошим опытом. Какова точность прочтения анамнеза (истории болезни)? Достаточна ли она для определения диагноза и симптомов? К примеру, самая известная нейросеть на планете — проект IBM Watson, в который было вложено более $6 млрд, — умеет понимать только английский язык, при этом точность семантического анализа не раскрывается.
Если это стартап, нацеленный на медицинские изображения или видео, то обязательно узнайте, каковы технические ограничения по снимкам/видео (формат файлов, размеры, скорость видеопотока, количество кадров в секунду, кодеки видеосжатия и т.п.). Из ответа должно быть понятно, что команда знает и понимает свои ограничения, но они не станут стопором коммерческого продукта. На чем нейросеть учили распознавать изображения? На чем проверяли правильность распознавания? Была ли контрольная проверка качества обучения модели, и кто ее верифицировал? Можете ли вы прийти со своим исследованием и посмотреть, как нейросеть его оценит?
4. Легальность данных
Были ли данные получены законным образом, и есть ли у команды права на их использование? Проверка легальности данных для обучения медицинских нейросетей — одна из самых важных задач инвестора. Если у команды нет договоров на использование данных в определенных целях, созданный на их основе продукт невозможно будет продать, — зато их владельцы могут подать в суд, требуя упущенную выгоду.
5. Объем данных
Сколько историй болезни было «скормлено» искусственному интеллекту:
- Меньше 10 тыс.? Команда еще даже не приступила к работе.
- От 10 до 100 тыс.? С ними можно говорить, но с главными трудностями они еще не столкнулись.
- От 100 тыс. до 1 млн? Интересный проект, но непонятно, почему у него нет денег: в этом случае due diligence нужно делать особенно внимательно.
- Больше 1 млн? Это, скорее всего, серьезные ребята.
Знание предмета
6. Точность модели
Правильный ответ должен состоять из трёх цифр: генерализированная точность (сама по себе она на этом этапе не нужна, но покажет, что люди вас не обманывают и разбираются в предметной области), процент ложно-положительных и ложно-отрицательных оценок. Скорее всего, вам достанется еще 10-15 минут заранее подготовленной речи, но главное, что вы должны услышать, — понимает ли команда, как эти три показателя влияют на медицинское применение.
Самое важное здесь — ложно-отрицательные результаты: это когда нейросеть скажет больному человеку, что он здоров. Этот показатель должен быть минимальным: приемлемая теоретическая точность — от 98% до 99.99%. На сегодня в США ложно-отрицательная оценка визуальных исследований с подозрением на онкологию — 25%: четверть людей получает заключение, что они здоровы, хотя они больны, — и это у докторов-людей. От машин люди привыкли ожидать большей точности, а значит, к работе высокотехнологичного продукта требования заведомо выше. В продукт с точностью ниже 90% инвестировать бессмысленно.
7. Нозологии, диагнозы, симптомы
Какие нозологии (классификации болезней), диагнозы или симптомы знает нейросеть, сколько из них уверенно распознает? Сколько всего их существует в предметной области, сколько уверенно распознает врач-специалист в столице? А рядовой врач в регионе? Ответы на эти вопросы покажут вам, что команда хорошо понимает свою бизнес-нишу и видит для проекта реальный рынок. Ведь если обычный врач справляется с задачей определения открытого перелома с вероятностью 100%, то для такого проекта просто нет рынка.
Обязательно проверьте ответы у специалиста из здравоохранения, которому вы доверяете настолько, что готовы инвестировать под его заключение.
На засыпку
✅ Насколько человеко-читаем отзыв нейросети? Можно ли им пользоваться без специального обучения?
✅ Какие языки написания отзыва знает их программное обеспечение? Русский? Английский?
✅ Соответствует ли формат написания отзыва американским стандартам по совместимости истории болезни? В ответ надо ожидать рассказ о том, каким гайдлайнам ISA и NIEM соответствует отзыв стартапа.
✅ Использует ли ПО стартапа при написании отзыва словарь выражений американского стандарта?
PS для стартаперов
Стартовые инвестиции на рынке медицинских услуг на порядок больше, чем, например, в интернет-бизнесе, и бизнес-ангелы здесь совсем другие. Ведь медицинские стартапы решают очень сложные задачи, которые не могут решить на протяжении десятилетий ученые с мировыми именами; вероятность не добиться успеха здесь очень велика — а потому велика и стоимость входного билета.
Однако деньги решают не всё: даже если у стартапа есть капитал на первые шаги, он не сможет развиваться без связей в сфере здравоохранения. Чтобы получить доступ к медицинской информации — например легально приобрести данные для исследований, — нужно быть из медицинской среды: «с улицы» в нее попасть невозможно.
Материал взят с сайта Inc.