BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining

Title: BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining

Authors: Renqian Luo, Liai Sun, Yingce Xia, Tao Qin, Sheng Zhang, Hoifung Poon, Tie-Yan Liu

Published: Oct 19 2022

Link: https://arxiv.org/abs/2210.10341

Summary (Generated by Microsoft Copilot):

Introduction: BioGPTは、BERTライクなモデルの生成タスクにおける制限に対処するために設計された、生物医学テキスト生成とマイニングのための生成型事前学習Transformerモデルである。

Challenges: BioBERTやPubMedBERTのような既存のモデルは理解タスクでは優れているが、生成能力が欠けており、GPTモデルはドメインシフトのため生物医学ドメインでパフォーマンスが低い。

Methods: BioGPTは1500万のPubMed要約で事前学習され、6つの生物医学NLPタスクでファインチューニングされ、Transformerデコーダアーキテクチャとプロンプトのための連続埋め込みを使用している。

Novelties: BioGPTは、ゼロからのドメイン固有事前学習、自然言語ターゲットシーケンス、およびより良いタスク適応のためのソフトプロンプトを導入している。

Results: BioGPTはほとんどのタスクで以前のモデルを上回り、関係抽出、質問応答、および文書分類において最先端の結果を達成した。

Performances: 様々な生物医学NLPベンチマークでF1スコアと精度が大幅に改善された。

Limitations: 計算上の制約により、モデルサイズはGPT-2 mediumに制限されている。

Discussion: 今後の研究には、生物医学NLPにおけるより広範な応用のために、BioGPTをより大きなモデルとデータセットにスケーリングすることが含まれる。