～デジタルツインでの活用に向け、多様な3Dコンテンツを高い表現力で手軽に伝送～
2023年1月24日
株式会社KDDI総合研究所
株式会社KDDI総合研究所（本社：埼玉県ふじみ野市、代表取締役所長：中村 元、以下「KDDI総合研究所」）は、三次元（以下「3D」）点群圧縮技術の最新の国際標準方式であるPCC（Point Cloud Compression）に対応したリアルタイムコーデックを用いた伝送実験（以下「本伝送実験」）に世界で初めて成功しました（注1）。本伝送実験は、そのままでは膨大なデータ量となる3D点群を、データ品質を落とすことなく大幅に圧縮し、効率的かつ安定的にモバイル回線で伝送できることを確認したものです。
人物や建造物などの3D点群をモバイル回線で伝送できることで、従来より手軽に現実世界の被写体をリアルタイムかつ高い表現力で仮想世界に再現できるようになるほか、メタバースなどのプラットフォームを介していつでもどこでも（注2）視聴できます。これにより、デジタルツイン（注3）における新たなエンターテインメント表現、災害対策支援および建設現場の作業支援など、幅広い分野で3D点群の活用が進むことが期待されます。
点群とは、3D物体を点の位置と色の集合で表現するデータ形式です。高精細な3Dデータである点群を用いた臨場感のあるコンテンツは、その情報量の多さからデータ量が1Gbpsなど非常に大きくなるため、伝送するには圧縮技術が不可欠です。
PCCは、点群圧縮技術の最新の国際標準方式です。動きのある人物などの3D点群に適しているV-PCC（Video-based point cloud compression）と、点の位置の誤差が少なく建造物などの3D点群に適しているG-PCC（Geometry-based point cloud compression）の2方式があります。KDDI総合研究所は2020年からPCCの国際標準化活動に携わり、実用化に向けた技術や知識を蓄積してきました。
V-PCCならびにG-PCCは従来技術と比較して圧縮性能を大幅に向上させており、モバイル回線を介した伝送を可能とします。一方で、圧縮にかかる処理負荷は高く、リアルタイム処理には課題がありました。
KDDI総合研究所は2022年10月にV-PCCに対応したリアルタイムエンコーダーの開発に成功しており（注4）、本伝送実験はそれに続く取り組みです。
【今回の成果】
このたび、KDDI総合研究所は、独自に開発したPCC対応のリアルタイムエンコーダーを用いて、3D点群をモバイル回線で伝送することに成功しました。V-PCC、G-PCCのそれぞれで以下の伝送実験に成功しており、いずれも世界で初めての成果です。
1．V-PCCによる伝送実験
実施日 ：2023年1月11日
実施内容：事前にスタジオで生成した人物の高密度3D点群（約2000万点/秒）を、KDDI総合研究所本社（埼玉県ふじみ野市）にあるV-PCCのリアルタイムエンコーダーで圧縮し、5Gを経由してKDDI research atelier（東京都港区）に安定的に伝送できることを実証
KDDI総合研究所は、2022年10月、V-PCCを用いた圧縮における処理速度を約400倍高速化する技術を確立し、パソコン上のソフトウェアによるリアルタイムエンコードを実現しました。
Ｖ-PCCに対応したリアルタイムコーデックを用いて3D点群の伝送ができることにより、例えば音楽やファッションなどのショーイベントを対象に、ボリュメトリックスタジオ（注5）で撮影した映像をそのままメタバースに参加させるといった新しいイベント体験の創出が期待されます。
このようなユースケースを想定し、KDDI総合研究所は、撮影拠点のボリュメトリックスタジオで被写体を3D点群としてスキャンし、リアルタイムコーデックを用いて遠隔の視聴拠点までライブ配信してホログラフィックステージやスマートフォンなどでコンテンツを視聴する実証も行いました（注6）。
2．G-PCCによる伝送実験
実施日 ：2022年12月27日
実施内容：3Dレーザースキャナーで取得したKDDI総合研究所本社屋の点群（約30万点/秒）と、事前にドローンを利用して生成した建造物（ダム）の広域点群（約2000万点から成るデータを約30万点/秒に時分割で伝送）（注7）のそれぞれを、KDDI総合研究所本社（埼玉県ふじみ野市）の屋外に設置したノートパソコン上のG-PCCのリアルタイムエンコーダーで圧縮し、5G/LTEを経由してKDDI research atelier（東京都港区）に安定的に伝送できることを実証
KDDI総合研究所は、今回、新たにG-PCCを用いた圧縮における処理を高速化する技術を確立し、ノートパソコン上のソフトウェア処理により約30万点/秒の点群のリアルタイムエンコードを実現しました。高速化について、具体的には、複数のフレームを並列に処理する独自技術を導入しました。本伝送実験では約30万点/秒の点群データを利用しましたが、エンコーダーとしては約200万点/秒までのリアルタイム処理に対応しています。
Ｇ-PCCに対応したリアルタイムコーデックを用いて3D点群の伝送ができることにより、例えばドローンを利用して現場の様子をライブ配信することで、災害時の被災状況の迅速な把握と救援活動の展開、そのほか、インフラ構築時の遠隔作業支援によるDXの促進などが期待されます。
【今後の展望】
今後は、ライブ配信時の課題となるコーデック処理遅延の低減を図り、スマートフォンなどを対象にインタラクティブ性の高いアプリケーションの開発を目指します。また、メタバースプラットフォーム上や実際の建設現場での検証など、3D点群を用いたコンテンツを普及させる取り組みを進めます。
KDDI総合研究所は、現実世界の人物が発する音の向きや動きを仮想世界でも遜色なく体感できる、音場のインタラクティブ合成技術を開発しており、この技術とV-PCCを組み合わせた検証や評価も進めていきます。
本伝送実験は、総務省SCOPE（国際標準獲得型）JPJ000595の委託を受けて実施した研究開発の成果です。
【KDDI総合研究所の取り組み】
KDDIとKDDI総合研究所は、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定し、その具体化に向け、イノベーションを生むためのエコシステムの醸成に必要と考えられる「将来像」と「テクノロジー」の両面についてBeyond 5G/6Gホワイトペーパーにまとめました。
両社は新たなライフスタイルの実現を目指し、7つのテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。今回の成果は7つのテクノロジーの中の「XR」に該当します。
（注1）
V-PCCおよびG-PCCに準拠したリアルタイムエンコーダーを活用した伝送実験事例として世界初。（2023年1月24日時点、KDDI総合研究所調べ）
（注2）
モバイル通信網のエリア内において。
（注3）
現実世界にある物理的な情報をIoTなどで取得し、仮想世界に現実世界そっくりの空間を再現する技術。
（注4）
点群圧縮技術の最新の国際標準方式に対応したリアルタイムエンコーダーを開発（2022年10月24日報道発表）
（注5）
被写体を取り囲むように多数のカメラを設置して、さまざまな角度から撮影した映像データをもとに3D点群のコンテンツを制作する撮影スタジオ。
（注6）
ここで述べた実証例では、視聴拠点の通信環境から、固定回線および無線LANを介して3D点群を伝送しました。
（注7）
KDDIスマートドローン株式会社と株式会社大林組によるドローン活用に関わる協業の一環で取得した点群を利用。
出典：
https://www.kddi-research.jp/newsrelease/2023/012401.html
記事の追加及び削除：
記事の追加あるいは削除を希望される場合、お手数ではございますが、以下窓口までご連絡ください。 info@symphotony.com
この情報へのアクセスはメンバーに限定されています。ログインしてください。メンバー登録は下記リンクをクリックしてください。