MRに関する論文を書くときの、MRの説明テンプレート

複合現実(Mixed Reality、MR)とは

植田コメント:「MR」という表現はかなり読者にとって辛いので、なるべく「複合現実」もしくは「複合現実(MR)」という表現を使う

複合現実(Mixed Reality、MR)の概念は1990年代からあるが、近年(2016年以降)の複合現実デバイス(HoloLens、Meta2、Magic Leap Oneなど)は以下のような外観である(写真はHoloLens)。

f:id:weed_7777:20180815174527p:plain

複合現実デバイスは頭に装着するヘッドセットである。VRのような密閉型ではなく、透過型(シースルー)であり、周りの景色を見ることができる。

複合現実デバイスは、光学カメラと深度センサーを複数搭載することで、以下のように周囲の3次元形状や装着者の視線の向き・姿勢・移動をリアルタイムで把握することができる。

f:id:weed_7777:20180815175727j:plain

<インサイドアウト式の6DoFをうまくとらえている画像、ありませんでしょうか?>

そして、複合現実デバイスを装着すると眼の前に精細加工された光学レンズが配置され、眉間の位置から照射された光が光学レンズで反射され、網膜に照射して立体映像を表示する。装着者は、立体映像と周りの景色を同時に見ることができる。

f:id:weed_7777:20180815181141j:plain

この画像も分かりにくい

前述の通り、複合現実デバイスは装着者の視線の向き・姿勢・移動をリアルタイムで把握することができるため、視線の向きを変えたり、姿勢を変えたり、移動したりしても、立体映像はまるで現実の空間に「存在する」かのように装着者には見える。

f:id:weed_7777:20180815181839p:plain

つまり、複合現実デバイスを装着すると、現実の光景と仮想の映像を合成して(Mix)見ることができる。このため、複合現実(Mixed Reality、MR)と呼ばれる。

複合現実(MR)の概念はMilgramらによって提案された。それによると、複合現実(MR)体験とは、インタラクティブな、

  • 拡張された現実(拡張現実、Augmented Reality、AR、映像、音、触覚、匂い、熱さなど)を伴う現実世界
  • 拡張された仮想(拡張仮想、Augmented Virtuality、AV、仮想世界に現実の情報をオーバーレイさせる)を伴う仮想世界

にユーザーが入る体験である。

An MR experience is one where the user is placed in an interactive setting that is either real with virtual asset augmentation (augmented reality), or virtual with real-world augmentation (augmented virtuality).

P. Milgram and A.F. Kishino, “Taxonomy of Mixed Reality Visual Displays,” IEICE Trans. Information and Systems, vol. E77-D, no. 12, 1994, pp. 1321-1329.

https://www.researchgate.net/publication/231514051_A_Taxonomy_of_Mixed_Reality_Visual_Displays

複合現実(MR)では、グラフィックスとオーディオのエンジンがキャプチャ、レンダリングして、拡張現実(AR)や拡張仮想(AV)のためにビジュアルとオーディオのコンテンツをミックスする(Huges, 2005)。

The graphics and audio engines capture, render, and mix visual and audio content for both augmented reality and augmented virtuality.

f:id:weed_7777:20180809044838p:plain

f:id:weed_7777:20180809044821p:plain

D.E. Hughes, “Defining an Audio Pipeline for Mixed Reality,” Proc. HCI Int’l, CD-ROM, Lawrence Erlbaum Assoc., 2005.

複合現実(MR)とは、現実空間と仮想空間を混合し、現実のモノと仮想的なモノがリアルタイムで影響しあう新たな空間を構築する技術全般を指す(Adrianaら, 2009)。

Adriana de Souza e Silva, Daniel M. Sutko: Digital Cityscapes: merging digital and urban playspaces. New York: Peter Lang Publishing, Inc., 2009

books.google.co.jp

ーーー

参考:「Mixed Reality in Education, Entertainment, and Training」

https://www.researchgate.net/publication/7454465_Mixed_Reality_in_Education_Entertainment_and_Training