MedSAM-3: адаптация модели SAM 3 для медицины
MedSAM-3 - исследовательский проект, который переносит возможности сегментации по текстовым запросам из общего домена в медицинский.
Несмотря на мощь оригинальной SAM 3, тесты показали ее слабую применимость к клиническим данным: базовая модель часто путает анатомические структуры и не понимает специфические термины.
MedSAM-3 решает эту проблему, позволяя врачам выделять объекты на снимках МРТ, КТ, УЗИ и гистопатологии с помощью естественного языка. Например, по запросу «сегментируй опухоль молочной железы».
В основе - дизайн SAM 3 с двойным трансформером. На обучении заморозили энкодеры изображений и текста, чтобы сохранить сильные визуальные приоритеты оригинала, а вот компоненты детектора прошли SFT на медицинских датасетах. Это позволило сохранить мощный базис оригинальной SAM 3, но добавить ей понимание медицинской специфики.
В посттрейн-тестах наилучшую производительность показала конфигурация MedSAM-3 T+I, где текстовые подсказки были объединены с ограничивающими рамками. Такой подход позволил тестовой модели обойти классический U-Net и первую версию MedSAM на бенчмарках BUSI (Dice score - 0.7772) и Kvasir-SEG.
Помимо самой модели, разработчики собрали агентный фреймворк MedSAM-3 Agent. Он использует мультимодальную LLM (в экспериментах - Gemini 3 Pro) в качестве планировщика, который анализирует запрос, выстраивает цепочку рассуждений и итеративно управляет процессом сегментации.
В эксперименте c Gemini 3 Pro, на том же тестовом наборе BUSI, метрика Dice выросла с 0.7772 до 0.8064.
Проект пока на стадии техотчета, но разработчики обещают опубликовать код и веса модели в ближайшее время. Так что тем, кто занимается ИИ в медицине - рекомендуем следить за репозиторием на Github.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!