NLP

NLP

SpAtten: Attentionの実行に特化したソフトウェアとハードウェア

MITの電気工学・コンピュータサイエンス学科の博士課程の学生であるHanrui Wangらは、計算機の性能に深く依存するAttentionの実行時のDRAMアクセスと計算量の両方を削減するためのテクニックとハードウェアを提案した。

NLP

OpenAIとスタンフォードの研究者、大規模な言語モデルの弊害への対処を呼びかける

OpenAIとスタンフォード大学の研究者が先週発表した論文は、GPT-3のような大規模な言語モデルが含んでいるマイノリティへのバイアスに対処するための緊急行動を呼びかけた。

NLP

論文を一文要約するAIが登場

科学検索エンジンの作成者は、研究論文の一文要約を自動的に生成するソフトウェアを発表した。この無料ツール「TLDR」は、ワシントン州シアトルの非営利団体であるアレン人工知能研究所（AI2）が作成した検索エンジン「Semantic Scholar」での検索結果を表示するために最近導入された。

NLP

無声音声をデジタル合成音声に変換するAIシステム

UCバークレー校の研究者らは、顔や喉に電極を当てて筋電図（EMG）を使って、無声発話を検出するAIシステムを開発することに成功した。このモデルは、音を出さずに発話された音声を筋肉感覚で測定することで、無声発話を実現する。特に、デジタルボイシングと呼ばれる、送信や再生のための合成音声を生成する作業に焦点を当てている。

NLP

Google、特許出願の分類にBERTを応用することを提案

Googleは、20日に発表されたホワイトペーパーの中で、オープンソースのツールを使用して、米国およびその他の国の1億件以上の特許公報に対してBERTモデルを訓練する方法を概説しており、これを使用して特許の新規性を判断し、分類を支援するための分類を生成することができるとしている。

NLP

MITのAI、紀元前に消滅した言語を解読

MITのコンピュータ科学・人工知能研究所（CSAIL）の研究者たちは、歴史上滅びた言語を解読できるシステムを開発したと主張している。これはわずか数千語の体系化の後に失われた言語でも、解読できるシステムへの一歩だという。

NLP

Facebookのオープンソースモデル「M2M-100」は100種類の言語間の翻訳が可能

Facebookは20日、英語データに頼らずに100言語の任意のペア間で翻訳できる初めてのアルゴリズムであるM2M-100をオープンソース化した。2,200の言語ペアで訓練されたこの機械学習モデルは、機械翻訳の性能を評価するために一般的に使用される指標において、英語中心のシステムを表向きは凌駕している。

NLP

GPT-3、掲示板サイトRedditに1週間潜伏してもバレなかった

OpenAIの強力なGPT-3言語モデルを搭載したボットが、Redditにコメントを投稿してから1週間が経過したが、その間、それがボットだと気がつく人がいなかったことが話題になっている。

AI

アレン研究所、AI言語モデルに蔓延する毒性を発見

アレン人工知能研究所の研究者は、AI言語モデルから人種差別的、性差別的、またはその他の有害な反応を引き出すためのデータセット「RealToxicityPrompts」を作成し、モデルがこれらの反応を好むかどうかを測定する方法として試みた。実験では、現在の機械学習技術では有毒な出力を十分に防ぐことができず、より良いトレーニングセットとモデルアーキテクチャの必要性が強調されていることがわかった。

NLP

マイクロソフト、GPT-3の独占ライセンスを取得

マイクロソフトは22日、GPT-3を、AIスタートアップのOpenAIから独占的にライセンス供与することを発表した。マイクロソフトのEVPであるケビン・スコットは、OpenAIの技術革新を活用して顧客にAIソリューションを開発・提供し、自然言語生成の力を活用した新しいソリューションを生み出すと述べている。

NLP

GPT-3、道徳、歴史、法律のようなトピックで苦戦

コロンビア大学、シカゴ大学、カリフォルニア大学バークレー校の研究者が共著した新しい論文によると、OpenAIのGPT-3のような洗練された言語モデルでさえ、道徳、歴史、法律のような社会的に重要なトピックに苦戦している。

NLP

言語学習アプリDuolingoがどう機械学習を活用しているか

Duolingoは、AIベースの言語学習プラットフォームを提供している。Duolingoは、フランス語やタミル語からハワイ語やナバホ語などの絶滅危惧種の言語まで、32以上の言語コースを提供しており、3億人以上のユーザーに利用されている。

NLP

マイクロソフト、「最先端」の生物医学NLPモデルを提案

マイクロソフトの研究者たちは、「生物医学自然言語処理（NLP）のためのドメイン固有の言語モデル事前学習」というAI技術を提案。データセットから「包括的な」生物医学NLPベンチマークをコンパイルすることで、名前付き実体認識、エビデンスに基づく医療情報抽出、文書分類などのタスクで最先端の結果を得たと主張した。

AI

新しいトレーニング技術でエッジデバイス上の言語モデルを高速化

MITコンピュータサイエンス・人工知能研究所（CSAIL）とMIT-IBMワトソンAIラボの研究者はこのほど、GoogleのTransformerアーキテクチャを組み込んだAIモデルトレーニング技術であるHardware-Aware Transformers（HAT）を提案しました。

NLP

AI研究者がNLPのバグを見つけるテストツールを作成

AI研究者が、Amazon、Google、Microsoftが市販するクラウドAI製品の主要なバグを発見した言語モデルテストツールを作成。CheckListツールを詳述した論文が、Association for Computational Linguistics（ACL）会議の主催者から最優秀論文賞を受賞。

NLP

DeepMind研究者「英語以外で自然言語処理の研究を行うべき」

DeepMindの研究者であるSebastian Ruderが「英語以外の言語で自然言語処理の研究を行なうべき理由」というブログ記事を投稿した。世界中で7000以上の言語が話されているが、NLPの研究ではほとんどが英語に焦点を当てている。Ruderは、この文脈の中で、なぜ英語以外の言語に取り組むべきなのかを概説した。