エッジデバイスで機械学習アルゴリズムを実行する方法

強力で低消費電力のモノのインターネット（IoT）デバイスの登場により、ロボットなどのエッジデバイス上でMLの計算を実行できるようになった。このため高度な機械学習手法をネットワークのエッジに配置して「エッジベース」のMLを実現する時代が到来している。

吉田拓史

2021年2月1日 — 6 min read

複雑な機械学習アルゴリズムに基づいて大量のデータを分析するには、かなりの計算能力が必要だ。そのため、データの処理の多くは、オンプレミスのデータセンターやクラウドベースのインフラストラクチャで行われている。しかし、強力で低消費電力のモノのインターネット（IoT）デバイスの登場により、ロボットなどのエッジデバイス上で計算を実行できるようになった。このため、畳み込みニューラルネットワーク（CNN）などの高度な機械学習手法をネットワークのエッジに配置して「エッジベース」のMLを実現する時代が到来している。

ヘルスケアにおけるエッジデバイス

エッジベースMLの恩恵を最も受ける産業の一つにヘルスケアがある。オンデバイスでのデータ分析の必要性は、データ処理に基づく意思決定をすぐに行わなければならない場合に発生する。例えば、データをバックエンドサーバに転送するのに十分な時間がない場合や、接続性が全くない場合などだ。

集中治療は、血糖値や血圧などの重要な生理学的パラメータを特定の値の範囲内に維持しなければならないクローズドループシステムにおいて、リアルタイムのデータ処理と意思決定が重要となるエッジベースのMLの恩恵を受ける可能性のある分野だ。

ハードウェアや機械学習の手法がより洗練されてくると、神経活動や心臓のリズムのように、より複雑なパラメータをエッジデバイスで監視・分析できるようになる。

エッジベースのデータ処理の恩恵を受ける可能性があるもう1つの分野は、「アンビエントインテリジェンス」（AmI）だ。AmIとは、人の存在に敏感で反応するエッジデバイスのことを指す。人と環境が相互に作用する方法を強化する可能性がある。

高齢者のための日常的な活動モニタリングは、AmIの一例である。介護付き高齢者向けのスマート環境では、転倒や火災などの異常を素早く察知し、緊急の助けを呼んですぐに対応することが主な目的だ。

鉱業、石油、ガスおよび産業用オートメーション

エッジベースのMLのビジネス価値は、石油、ガス、鉱業などの業界では明らかになる。ロボットのようなエッジデバイスのセンサーは、大量のデータを取得し、ポンプの圧力や通常の値の範囲外の動作パラメータなどを正確に予測することができる。

接続性は製造業でも問題となっており、機械の予知保全によって不要なコストを削減し、産業用資産の寿命を延ばすことができる。従来、工場では定期的に機械をオフラインにして、機器メーカーの仕様に沿って全数検査を実施していた。しかし、この方法はコストが高く非効率的であり、すべての機械の特殊な動作条件を考慮していない。

代わりに、工場や倉庫内のすべての機械に埋め込まれたセンサーが読み取りを行い、静止画像、ビデオ、または音声にディープラーニングを適用して、将来の機器の故障を示唆するパターンを特定することができる。

エッジデバイスでの動作するMLフレームワーク

エッジデバイス上で動作する最もポピュラーなMLフレームワークのほとんどは、音声認識、物体検出、自然言語処理（NLP）、画像認識、分類などのための事前学習済みモデルを提供している。また、データサイエンティストは、転送学習を活用するか、スクラッチから始めてカスタムMLモデルを開発するかを選択することができる。

TensorFlow LiteはGoogleによって開発され、Java、C++、Python、Swift、Objective-Cなど多くのプログラミング言語に対応したアプリケーション・プログラミング・インターフェース（API）を備えている。オンデバイスアプリケーション用に最適化されており、オンデバイスML用にチューニングされたインタプリタを提供する。カスタムモデルはTensorFlow Lite形式で変換され、そのサイズは効率を高めるために最適化されている。
ML for FirebaseもGoogleによって開発された。モバイルプラットフォームをターゲットにしており、TensorFlow Lite、Google Cloud Vision API、Android Neural Networks APIを使用して、顔検出、バーコードスキャン、物体検出などのオンデバイスML機能を提供している。
PyTorch MobileはFacebookが開発したもの。現在実験的にリリースされているのは、2つの主要なモバイルプラットフォームを対象としたもので、torchscriptモデルとして学習・保存されたモデルをモバイルデバイス上に展開している。
Core ML 3はAppleからリリースされたもので、Core MLの最初のリリース以来最大のアップデートであり、いくつかのML手法、特にディープニューラルネットワークに関連した手法をサポートしている。
ELLは，Microsoftが提供するソフトウェアライブラリで，MLアルゴリズムを小型のシングルボードコンピュータ上に展開し，PythonとC++のAPIを持っている。モデルはコンピュータ上でコンパイルされ、エッジデバイス上に展開されて起動される。
Apache MXNetは多くのプログラミング言語（Python、Scala、R、Julia、C++、Clojureなど）をサポートしている。

エッジデバイスのハードウェア

実際のユースケースでは、エッジデバイスに求められるタスクの多くは、画像と音声認識、自然言語処理、異常検出だ。このようなタスクに最適な機械アルゴリズムは、入力に基づいて出力パラメータを提供するために複数の層を使用するディープラーニングの分野に該当する。

大規模な並列行列の乗算を必要とするディープラーニングアルゴリズムの性質上、エッジデバイスに使用する最適なハードウェアには、ASIC（アプリケーション専用集積回路）、FPGA（フィールドプログラマブル・ゲート・アレイ）、RISCベースのプロセッサ、およびGPU（組み込みグラフィックス・プロセッシング・ユニット）などがある。

GoogleのCoral System-on-Module（SoM）は、CPU、GPU、Edge Tensor Processing Unit（TPU）を含むMLアプリケーション向けの完全統合システムである。Edge TPUは、ディープラーニングネットワークの実行を高速化するASICで、1秒間に4兆回の演算（テラ演算）を行うことができます。(TOPS)が発表した。
Intel Neural Compute Stick 2（NCS2）は、標準的なUSBサムドライブのように見え、最新のIntel Movidius Myriad X Vision Processing Unit（VPU）上に構築されており、深層学習型推論を加速するための専用のNeural Compute Engineを搭載したシステムオンチップ（SoC）システムである。
Raspberry Pi 4は Broadcom BCM2711 SoC をベースにしたシングルボードコンピュータで、Debian OS (Raspbian) の独自バージョンを実行している。Coral USB を USB 3.0 ポートに接続すると ML アルゴリズムを高速化できる。
NVIDIA Jetson TX2は、コンピュータビジョンと深層学習アルゴリズムを展開するために使用される組み込みSoCです。同社はJetson Xavier NXも提供している。
RISC-V GAP8は、Greenwaves Technologiesが設計したもので、画像や音声認識に使われるアルゴリズムの実行に最適化された超低消費電力8コアのRISC-Vベースのプロセッサ。モデルは、Open Neural Network Exchange (ONNX)オープンフォーマットを介してTensorFLowに移植してからデプロイする必要がある。
ARM Ethos N-77は、MLに特化したARM Ethosファミリの一部であるマルチコア・ニューラル・プロセッシング・ユニット（NPU）です。最大4TOPの性能を発揮し、画像/音声/音声認識に使用される複数のMLアルゴリズムをサポートしている。
ECM3531は、ARM Cortex-M3アーキテクチャをベースにしたEta Compute社のASICで、数ミリワットでディープラーニングアルゴリズムを実行することができる。プログラマは、DSP上でディープ・ニューラル・ネットワークを実行することを選択することができ、消費電力をさらに削減することができる。

結論

エッジデバイスのメモリと計算リソースが限られているため、デバイス上で大量のデータを学習することはほとんどの場合不可能だ。ディープラーニングモデルは、強力なオンプレミスまたはクラウドサーバーのインスタンスで訓練され、エッジデバイス上に展開される。

開発者はこの問題に取り組むためにいくつかの方法を使用することができる。電力効率の良いMLアルゴリズムを設計すること、より良い、より特殊なハードウェアを開発すること、すべてのIoTデバイスが通信してデータを共有する新しい分散学習アルゴリズムを発明することだ。

最後のアプローチは、ネットワークの帯域幅に制限があるため、超信頼性の高い低遅延通信サービスを提供する将来の5Gネットワークは、エッジコンピューティングの分野で大きな助けとなるでしょう。

さらに、エッジベースのMLは、エッジデバイスがキャプチャしたデータセットのプライバシーとセキュリティを強化することが示されている。エッジデバイスがデータを処理し、メタデータを付加してデータを豊かにし、バックエンドシステムに送信することで、システム全体の応答時間が改善される。

デバイスのハードウェアとMLアルゴリズムの設計のさらなる進歩は、多くの産業にイノベーションをもたらし、エッジベースの機械学習の変革的な力を真の意味で示すことになると信じている。

Image by Intel Corp.

Special thanks to supporters !

Shogo Otani, 林祐輔, 鈴木卓也, Mayumi Nakamura, Kinoco, Masatoshi Yokota, Yohei Onishi, Tomochika Hara, 秋元善次, Satoshi Takeda, Ken Manabe, Yasuhiro Hatabe, 4383, lostworld, ogawaa1218, txpyr12, shimon8470, tokyo_h, kkawakami, nakamatchy, wslash, TS.