継続的自己教師あり学習：普遍的なマルチモーダル医療データ表現学習を目指して

概要

論文：Ye et al., Continual Self-supervised Learning: Towards Universal Multi-modal Medical Data Representation Learning（cvpr2024 open accessまたはarxiv）

（この記事の図表は元論文から引用）

論文の新規性

• モダリティの衝突と破滅的忘却を防ぐためにMedical Continual Self-Supervised（MedCoSS）パラダイムを提案した。
• MedCoSSは継続学習において各モダリティデータを個別の訓練段階に割り当てる。
• 以前のモダリティデータを保持するためにリハーサルバッファーが導入された。
• モダリティ：レポート、X線、CT、MRI、病理画像。

性能評価手法

• MedCoSSを単一モダリティ事前学習およびマルチモーダル事前学習（Joint SSL、EWC、ER、PackNet、CaSSLeを含む）と比較した（表を参照）。

議論

• MedCoSSは一部のモーダルで最高性能を示すが、他のモーダルではそうではない
• リハーサルバッファのサイズは性能とマルチモーダルデータの衝突および計算コストとのトレードオフである