Interpretability analysis on a pathology foundation model reveals biologically relevant embeddings across modalities

Title: Interpretability analysis on a pathology foundation model reveals biologically relevant embeddings across modalities

Authors: Nhat Le, Ciyue Shen, Chintan Shah, Blake Martin, Daniel Shenker, Harshith Padigela, Jennifer Hipp, Sean Grullon, John Abel, Harsha Vardhan Pokkalla, Dinkar Juyal

Published: Jul 15 2024

Link: https://arxiv.org/abs/2407.10785

Summary (Generated by Microsoft Copilot):

Introduction:

• 本論文は、pathology foundation modelを使用した医療画像におけるmechanistic interpretabilityを探求している。

Challenges:

• 病理画像におけるバッチ効果。
• 複数の概念を保存するpolysemantic neurons。

Methods:

• 病理画像とspatial transcriptomicsデータセットにおけるViT-Small encoderからの特徴量の分析。

Novelties:

• 細胞と組織の形態および遺伝子発現の解釈可能な表現。

Results:

• Embedding dimensionsは、複雑な病理学関連の概念を捉えている。
• Linear regressionモデルは、核の特性を予測する。

Performances:

• 核の特性予測におけるPearson correlationは0.51から0.91。

Limitations:

• 予備的な調査であり、概念のさらなる分解が必要。

Discussion:

• 異なるデータセットとモダリティにわたる埋め込みの汎化性。