～広帯域通信インフラなしで4K映像など大容量データの短時間・非接触での収集・配信を実現～
ポイント
- 自律移動サービスロボットが見廻り場所を4Kカメラで撮影し、データを依頼者に運搬・伝送するシステム
- 約87m離れた先の1分間の撮影データ（約10GB）を163秒（換算値514Mbps相当）で届けることに成功
- 立入り困難でインフラ敷設が難しいエリアでの4K映像収集・配信サービスへの応用に期待
国立研究開発法人情報通信研究機構（NICT、理事長: 徳田 英幸）ソーシャルICTシステム研究室はソニーセミコンダクタソリューションズ株式会社（代表取締役社長 兼 CEO: 清水 照士）と共同で、60GHz帯のミリ波を用いる次世代TransferJet 通信技術（以下TransferJet X）を搭載した自律移動サービスロボットによる協働型見廻りシステムを開発しました。
4Kカメラを搭載した複数の自律移動サービスロボットに対して無線で見廻りを依頼すると、見廻り場所近くにいるロボットが移動して撮影を行い、その後、撮影データは依頼者の元までロボット自身が運搬し、再生装置にTransferJet Xで無線伝送、自動再生されます。実証実験では、86.8m離れた先の見廻り場所の撮影データ（約10GB）を依頼者の元におよそ163秒（移動時間129秒、伝送時間34秒）で届けられることが確認できました。これは、データ転送速度に換算すると、514Mbpsに相当します。
本システムは、広帯域通信インフラの新規敷設が難しいエリアや人の立入りが困難なエリアにおいて高解像度（4K）映像での情報収集・配信システムとしての活用が期待できるほか、ニューノーマル時代におけるオフィス環境等の自動見廻りや注意喚起を非接触に行うサービス等への展開が期待されます。
なお、本成果については、6月11日（金）、12日（土）にオンライン開催される「NICTオープンハウス2021」で展示を行います。
昨今のコロナ禍における非接触ニーズの高まりから、多種多様な分野のサービスロボット（警備、清掃、案内のほか、消毒、配膳やデリバリーを行うロボット等）が急速に活躍の場を広げています。NICTソーシャルICTシステム研究室では、清掃やデリバリー等を“本来業務”とするサービスロボットを利用して、オフィス・ホテル・病院等のビル内や駅・商業施設等の構内における見廻りを行う新たなソリューションサービスの開発を目指しています。
見廻りについて、既に広く普及している防犯用固定カメラをより高解像度なものに交換し、その設置箇所を増やしてネットワーク化できれば、現地のより詳細で高度な状況分析結果を管理室など離れた場所からでも確認できます。しかし、広帯域通信ネットワークが用意されていない、又は、新規の敷設がコスト的、物理的に困難な場合もあります。
今回の成果
NICTソーシャルICTシステム研究室は、オフィス・ホテル・病院等のビル内や駅・商業施設等の構内で活躍が期待される様々な業種のサービスロボットの急速な普及展開に着目し、これらサービスロボットが人からの依頼を受け付けて、4Kカメラでの撮影による見廻りを行う自律移動サービスロボット協働型見廻りシステムを、ソニーセミコンダクタソリューションズ株式会社と共同で開発しました。同一オフィスビル内における実証実験により、見廻り後の撮影データを短時間かつ非接触で見廻り依頼者の再生装置に転送し、自動再生できることを確認しました。
図1に、自律移動サービスロボットを用いた見廻りシステムの実証実験の流れ（一例）を示します。
- まず、見廻り依頼者は、免許不要920MHz帯を用いるIoT無線デバイスで、周辺の協力可能な自律移動サービスロボットに見廻りを依頼します。
- 依頼を受け付けた見廻り場所近くのロボットは、指定の見廻り場所まで移動し、搭載されている4Kカメラにより撮影を行います。
- 撮影データは、見廻り依頼者の元までロボット自身が運搬し、60GHz 帯を用いるTransferJet Xを用いるミリ波IoT無線伝送装置（ソニーセミコンダクタソリューションズ株式会社が開発）によって再生装置に無線伝送されて、自動再生されます。
実験では、見廻り依頼者から86.8m離れた見廻り場所における約1分間の撮影データ（約10GB）を、最大移動速度毎秒0.8mのロボットが見廻り場所から依頼者の元まで届け、TransferJet Xによってデータ転送が完了するまで、およそ163秒（移動時間129秒、伝送時間34秒）かかりました。この結果をデータ伝送スループットに換算すると、514Mbps（撮影データ容量を、見廻り依頼者の元に撮影データの転送が完了するまでの時間で割った数値）に相当します（これは、2021年6月1日現在、国内で商用サービスとして利用可能な第5世代移動通信システム（5G）を用いた場合の技術規格上のデバイス間最大スループット 480Mbpsに匹敵する速度でした）。なお、本実証実験では、数百m範囲内の2台のサービスロボット間で協調動作を行い、より見廻り場所に近いロボットへの見廻り依頼や、待合せによる撮影データのロボット間受け渡しも可能なことを確認しました。
今後の展望
今回開発した自律移動サービスロボット協働型見廻りシステムは、広帯域通信インフラの新規敷設が困難な場所や電波の届かないエリアなどにおける高解像度カメラを用いた撮影データの実質的な無線転送手段として利用可能です。災害や老朽化に伴う構造物のひび割れ等の検出を目的とした無人監視サービスや、ニューノーマル時代に求められる密なオフィス環境等の自動見廻りと注意喚起を非接触に行うサービスへの応用なども期待されます。今後は、実際のオフィス・ホテル・病院等のビル内や駅・商業施設等の構内といった実環境における実用性検証を、想定されるサービス提供者やビル・駅管理等に関わる企業様の協力を得て実施する予定です。
補足資料
1. サービスロボット協働型見廻りシステムの構成と機能の詳細
図2に本実証実験で利用したサービスロボットの外観・機器構成を、図3に自律移動サービスロボット内のシステム構成を示します。このロボットは、配膳ロボットとして開発された縦539 mm、横460 mm、高さ1,088 mmの自律移動ロボットで、LiDARと呼ばれるセンサーを使って、常に周辺の障害物等との距離を計測し、障害物を回避しながら自律的に移動することができます。自己位置推定と環境地図作成を同時に行う技術（SLAM: Simultaneous Localization and Mapping）を採用した地図自動作成機能を備えており、リアルタイムに自らの周辺環境の変化も捉えた地図を更新しながら現在地を推定し、与えられた目的地点に向かう能力を有しています。最大移動速度は、ゆっくりとした人の歩行速度と同程度の毎秒0.8mです。
自律移動サービスロボットには、3軸ジンバルに取り付けられた4Kカメラが搭載されています。4KカメラからのHDMI出力映像は、ビデオコンバータを介してデバイス連携用PCに入力され、同PC内でH.264/AVC形式で圧縮保存されます。また、ロボットにはTransferJet Xを用いたミリ波通信デバイスが搭載されており、デバイス連携用PCとは、USBケーブル（制御用）及び10GbE（ギガビットイーサ）ケーブル（データ通信用）を用いて接続されています。ミリ波通信デバイスにはUSBケーブル経由で利用可能な制御APIが備わっており、対向するミリ波通信デバイスとのセッション確立状態や受信電力等の情報の取得が可能です。セッション確立後、撮影データは対向するミリ波通信デバイス間で無線伝送されます。ロボットの目的地設定や移動開始指示など移動に関する制御は、図3のロボット制御部に対してMQTTプロトコルによりメッセージを送信することで行います。
今回、免許不要920MHz帯IoT 無線通信規格IEEE802.15.4gに基づく無線通信機能とプログラマブルな信号処理機能を有するIoT無線ルータ（YeST+: ワイステーションプラス）を開発し、人が操作するデバイスからの見廻り依頼をロボットが受け付けることや、ロボット同士で協調動作するための各種機器の自律制御を可能にしました。同一ロボット内における各デバイス間の制御メッセージは、GbEケーブル経由でMQTTプロトコルを用いて伝達されますが、YeST+が本ロボットシステムの中枢的な役割を担い、ロボットの移動指令、4Kカメラによる撮影の指令、及びTransferJet Xを用いた通信の指令を行っています。
2. サービスロボット協働型見廻りシステムによる非接触データ配信能力の評価結果
自律移動サービスロボットに搭載している無線通信技術TransferJet Xは、数m程度の近距離であれば超高速の無線伝送が可能であり、短時間で大容量データを非接触に収集・配信できます。よって、ロボットの移動によって遠方の撮影データを近傍まで届けてもらい、TransferJet Xによって無線伝送することで、実質離れた場所の撮影データを短時間で無線転送した場合と同等の効果を得ることが可能になります（図4参照）。
開発したサービスロボット協働型見廻りシステムによる非接触でのデータ配信能力を検証するための基本的な実証実験では、およそ8m×18mのオフィスルーム内において、見廻り依頼者の位置から約10m先の様子の見廻りとして1分間の動画撮影を自律移動サービスロボットに依頼し、撮影データを届けてもらいました。見廻り依頼者の元では、撮影データの転送完了と同時に映像が自動再生される再生装置を構築しました。
本実証実験の結果、見廻り場所においてロボットが撮影したデータを物理的に依頼者の近傍まで運搬するために要した時間が21秒、また、TransferJet Xによって撮影データの再生装置への無線伝送が完了するまでの時間が34秒でした。データ容量を、見廻り依頼者の元への配信が完了するまでの時間で割ることでスループット換算値が得られます。上記の場合、撮影データは4K解像度の映像をH.264/AVCで即時圧縮することで10.48Gbyte（83.84Gbits）の容量となりましたが、これを配信完了に要した合計時間55秒で割ると、スループット換算値としては1.52Gbps相当になります。
次に、オフィスビルにおける複数の異なる場所で撮影したデータが、特定の見廻り依頼者の位置（データの届け先に該当）まで転送が完了するまでの時間を実際のロボットを用いて評価しました。図5は、ロボットのSLAMで構築されたフロアマップ上に、本実証実験で設定した見廻り依頼者と複数の見廻り場所の位置をプロットしたもので、図中の距離は、各見廻り場所からデータの届け先となっている見廻り依頼者の位置までの移動距離を示しています。
ロボットは、依頼を受けた各々の見廻り場所に到着後、1分間の4K解像度での撮影を行うと想定しました。このときの撮影データは、上述のオフィスルーム内の実験で取得されたものと同じデータ容量（10.48Gbyte）となります。この撮影データは、ロボット自身の移動によって見廻り依頼者の再生装置近傍まで届けられ、TransferJet Xによって無線伝送されます。
図6(a)に、各見廻り場所から見廻り依頼者の元に撮影データの転送が完了するまでの時間を示します。各見廻り場所から見廻り依頼者の元に撮影データの転送が完了するまでの時間は、見廻り場所によって異なることがわかります。
図6(b)に、各見廻り場所と見廻り依頼者間における撮影データ転送時間のスループット換算値を示します。例えば、見廻り場所①における撮影データが見廻り依頼者の元に撮影データの転送が完了するまでの時間は、ロボットの移動に要した時間71秒に、TransferJet Xによる撮影データの伝送時間34秒を加えた105秒となるため（図6(a)参照）、撮影データ容量10.48Gbyte（83.84Gbits）をこの105秒で割ることで、スループット換算値798Mbpsが得られます（図6(b)参照）。
図6(b)の結果から、開発した見廻りシステムを用いた場合、見廻り依頼者の位置から比較的遠方の見廻り場所⑤（データの届け先まで69.2m）や⑥（データの届け先まで86.8m）であっても、626Mbps及び514Mbps相当のスループット換算値を達成することが確認できました。なお、図6(b)には参考データとして、2021年6月1日現在、国内で商用サービスとして利用可能な第5世代移動通信システム（5G）を用いた場合の技術規格上のデバイス間最大スループットの値480Mbpsを黒い実線で示しています。上記見廻り場所⑤や⑥については、比較的長い移動時間を要するため、ほかの見廻り場所に比べてスループット換算値が低下しているにもかかわらず、5Gを用いた場合の技術規格上のデバイス間最大スループットに匹敵する速度となっています。
一方、より近隣の見廻り場所③や④（各々データの届け先まで8.6mと28.5m）であれば、1Gbpsを超えるスループット換算値となることも分かります。
以上の結果より、広帯域通信インフラの敷設が困難なオフィス・ホテル・病院等のビル内や駅・商業施設等の構内の高解像度カメラによる非接触での見廻りデータの転送や、インフラ敷設が困難な災害地区や電波の届きづらい狭空間など近距離エリアにおける高速データ配信システムとして本開発技術が有効であることが確認できました。
3. サービスロボット協働型見廻りシステムにおけるロボット間協調動作の仕組み
開発したサービスロボット協働型見廻りシステムでは、異業種の自律移動サービスロボットが運用される現場において、各々のロボットが担当する持ち場で“本来業務”を行いつつ、人からの見廻り依頼やほかのロボットからの協力依頼に応じて見廻りを行うことを想定しています。最初に見廻り依頼を受け付けたロボットが、自らよりも見廻り場所に近いほかのロボットの存在を確認できた場合には、代わりにそのロボットに見廻りを行ってもらうことで効率的な見廻りが可能となります。また、撮影データを有するロボットにとって、データを届ける先が本来業務の移動範囲外であった場合、異なるロボットにデータの運搬を依頼することでデータ配信エリアの拡張も可能になります。
図7に、本実証実験により確認した見廻り場所の撮影の依頼を協調動作によって実現する場合の動作フローを示します。ここでは、システムは見廻り依頼を最終的に引き受けて撮影を担うロボット（見廻り係ロボット）と、見廻り依頼の情報を中継発信することに加え、撮影データを引き取って見廻り依頼者の元まで届けるロボット（運搬係ロボット）で構成されています。
今回開発したサービスロボット協働型見廻りシステムにおけるロボットは、920MHz帯IoT無線を用いた各種情報の発信や交換を行う機能を有するYeST+を搭載しており、数百m範囲内に存在するほかのロボットの存在検出や協力依頼、互いの位置情報を知らせ合うなど、ロボット同士で協調動作することが可能となっています。
図7では、まず、見廻り依頼者はIoTメッセージ端末を用いて920MHz帯IoT無線フレームを発信し、周辺のロボットに見廻りを依頼しますが、この際に、見廻り場所の位置情報（Position A）と見廻り映像データの届け先の情報（Position B）が無線フレームの中に挿入されます（図7①参照）。
見廻り依頼を受け付けたロボットは、同じく920MHz帯IoT 無線を用いて、見廻り場所である“Position A”により近い位置に見廻り可能なロボットがいないか検索を行い、発見された場合には、そのロボットに対して見廻り場所の撮影を依頼します（図7②参照）。今回の実証システムでは、この検索・撮影依頼は、“問合せ・応答”という1往復のメッセージ交換でまとめて実現しています。問合せ無線フレームには、見廻り場所の撮影を依頼することを示す情報が搭載されており、周辺に複数存在し得るロボットに同報（ブロードキャスト）されます。これを受信して見廻り場所の撮影を行うことを了承したロボットは、依頼元のロボットに対してユニキャストで了承応答するとともに、見廻り場所に移動して撮影を開始します。
図7では、さらに、運搬係ロボットは見廻り係ロボットからの応答を受信後、見廻り場所“Position A”に移動し見廻り係から撮影データを受け取ります。その後、届け先である“Position B”まで撮影データを運搬し、TransferJet Xにより再生装置に無線伝送します（図7③参照）。
なお、今回の実証システムは、3台以上のロボットの協調動作にも対応しており、例えば、撮影データを異なるロボット間で協力してバケツリレー的に転送を行うことで、より広域かつ柔軟な範囲の撮影データの収集・配信が可能になります。また、図7①～③の見廻りの依頼から撮影データが届くまでの動作については、同時に複数の異なる見廻り場所に対して実践することも可能です。
出典：
https://www.nict.go.jp/press/2021/06/09-1.html
この情報へのアクセスはメンバーに限定されています。ログインしてください。メンバー登録は下記リンクをクリックしてください。