古文書の内容を現代語で要約する自然言語モデル

英シェフィールド大学、北京航空航天大学、オープンユニバーシティの研究者たちは、古文書を要約するAIシステムを提案した。ドイツ語と中国語で書かれた古文書を要約することができる彼らのアプローチは、今後の研究のための強力なベースラインを提供しているという。

研究者たちは、「豊かなテキストアーカイブ」があるドイツ語と中国語に焦点を当てた。両言語は、ドイツ語のアルファベット文字と中国語の表意文字という2つの異なる文字体系の「傑出した」代表として機能しており、この2つの言語を調査することで、他のさまざまな言語の一般化可能な洞察につながる可能性があるという。さらに、両言語の言語専門家が豊富にいるため、機械学習要約システムを評価するためのドイツ語と中国語のテキストの現代語要約を簡単に見つけることができる。

歴史的なドイツ語学習データセットを構築するために、研究者たちは1650年から1800年までの新聞を選び、アノテーションのために利用可能な383の記事の中から100の記事をランダムに選んだ。中国語については、明時代の物語集を選び、200以上の関連する学術論文を検索し、100のニューステキストを検索した。歴史的な物語の現代語による要約を作成するために、共著者はそれぞれドイツ文学と中国古代文学の学位を持つ2人の専門家を採用した。彼らは100のニュース記事と各言語の要約からなるコーパスを作成し、品質管理のために他の6人の専門家によって調査された。

研究者たちは、現代ドイツ語と中国語の要約学習データしかなく、歴史的な形式の言語のコーパスは非常に限られていることに注目している。これらの制限を回避するために、研究者らは移転学習に基づいたアプローチを使用したが、これは言語間のトレーニングがなくてもブートストラップが可能であるとしている

歴史的なテキストの要約には、いくつかのユニークな課題がある。歴史的なテキストは、従来の言語横断的なサマライザーでは扱うことができない。さらに、言語の使用は、語彙や単語の綴りや意味を含めて時間の経過とともに進化し、歴史的なコレクションは数百年に及ぶこともある。

文章のスタイルも時間の経過とともに変化する。例えば、今日のニュース記事では、重要な情報を最初の数文で紹介するのが一般的だが、古い時代には一般的ではなかった。

実験では、自動評価と人間による評価で、最先端のベースラインよりも優れた手法であることが実証されたと研究者らは主張している。将来的には、さらに言語を追加してモデルを改良し、各言語で使用した訓練データセットのサイズを増やす予定である。

「本論文では、歴史文書を現代言語で要約するという、歴史家やデジタル人文科学の研究者を支援することができる、これまで未踏ではあるが重要な異言語要約のアプリケーションである新しいタスクを紹介した」と研究者たちは書いている。

参考文献

Xutan Peng et al. Summarising Historical Text in Modern Languages. arXiv:2101.10759 [cs.CL]. [v2] Wed, 27 Jan 2021 04:17:02 UTC (649 KB)

Photo by Joel Naren on Unsplash