Visual Language Pretrained Multiple Instance Zero-Shot Transfer for Histopathology Images

Title: Visual Language Pretrained Multiple Instance Zero-Shot Transfer for Histopathology Images

Authors: Ming Y. Lu, Bowen Chen, Andrew Zhang, Drew F.K. Williamson, Richard J. Chen, Tong Ding, Long Phi Le, Yung-Sung Chuang, Faisal Mahmood

Published: Jun 13, 2023

Link: https://arxiv.org/abs/2306.07831

Summary (Generated by Microsoft Copilot):

Introduction:

• この論文は、コントラストビジュアル言語事前学習を使用した病理組織画像のzero-shot転移のためのフレームワークであるMI-Zeroを紹介する。

Challenges:

• データの制限: 大規模で公開されているペア画像テキストデータセットの欠如。
• 計算上の課題: 最大100,000×100,000ピクセルに及ぶギガピクセルのwhole slide images（WSI）の処理。

Methods:

• Multiple Instance Learning（MIL）: 大きな画像を処理するためにzero-shot転移を再定式化する。
• 事前学習: 55万以上の病理レポートと3.3万の病理組織画像キャプションペアを使用する。

Novelties:

• zero-shot転移: WSIに対する病理学における初の適用。
• MI-Zeroフレームワーク: 追加のラベルなしで診断タスクに事前学習されたビジュアル言語エンコーダーを利用する。

Results:

• 3つのがんサブタイピングタスクにわたって平均中央値zero-shot精度**70.2%**を達成する。

Performances:

• TopKプーリング: 平均プーリングよりも優れたパフォーマンスを発揮する。
• 空間平滑化: パフォーマンスに大きな変化を与えない。

Limitations:

• データの制約: キュレーションされたデータセットのサイズと品質によって制限される。

Discussion:

• 半教師あり学習ワークフローの可能性と、衛星画像などの他の分野への応用。今後の研究には、より多くのデータセットの収集とサンプル効率の向上が含まれる。