複合現実(MR)に関する論文は、複合現実という概念がまったく新しく、体験しないととても分かりにくいため、読者にとって大変わかりにくいものになりがちです。そこで、なるべく短めで複合現実の説明を書いてみました。
なお、紙媒体である論文では掲載不可能ですが、複合現実の動画を以下に載せておきます。
Microsoft HoloLens: Collaborate with Microsoft Remote Assist to solve problems faster
HoloLens application teaching magnetic field (short ver.)
また、論文では先行研究への言及が必要であるため、複合現実に関する代表的な論文3本についても言及しました。
目次
複合現実(Mixed Reality、MR)とは
植田コメント:「MR」という表現はかなり読者にとって辛いので、なるべく「複合現実」もしくは「複合現実(MR)」という表現を使います
近年の複合現実(MR)MR in recent years
複合現実(Mixed Reality、MR)の概念は1990年代からあるが、近年(2016年以降)の複合現実ヘッドセットは以下のような外観である(写真はHoloLens)。
The concept of Mixed Reality (MR) has been in the 1990's. However, the mixed reality headset in recent years (after 2016) has the following appearance (the picture is HoloLens).
VRヘッドセットは密閉型であり、仮想の映像だけを立体的に見ることができる。これに対し複合現実ヘッドセットは透過型(シースルー)であり、装着者は仮想の立体映像と周りの景色を同時に見ることができる。
VR headset is closed, immersive type. You can see only virtual images in three dimensions. On the other hand, the MR head set is transparent type (see-through). The wearer can see both the virtual stereoscopic image and the surrounding scenery in the same time.
そして、複合現実ヘッドセットは装着者の視線の向き・姿勢・移動をリアルタイムで把握することができるため、装着者が視線の向きを変えたり、姿勢を変えたり、移動したりしても、仮想の立体映像はまるで現実の空間に「配置されている」ように見える。
The MR head set can grasp the wearer's gaze direction, posture and movement in real time. Even the wearer changes his/her gaze direction, posture or he/she moves, It seems to him/her that the virtual stereoscopic image is "placed" in the real space.
つまり、複合現実ヘッドセットを装着すると、現実の光景と仮想の映像を合わせて(Mix)見ることができる。このため、複合現実(Mixed Reality、MR)と呼ばれる。
In brief, when we wear a MR headset, we can mix real scenes and virtual images and see them. Therefore, it is called Mixed Reality.
複合現実(MR)の歴史 History of MR
Milgramら(1994)
歴史的には、最初の複合現実(MR)の概念はMilgramら(1994)によって提案された:
複合現実(MR)体験とは、インタラクティブな、
- 拡張された現実(拡張現実、Augmented Reality、AR)を伴う現実世界
- 拡張された仮想(拡張仮想、Augmented Virtuality、AV)を伴う仮想世界
にユーザーが入る体験である。
Historically, the first concept of MR was proposed by Milgram et al. (1994):
An MR experience is one where the user is placed in an interactive setting that is either real with virtual asset augmentation (augmented reality), or virtual with real-world augmentation (augmented virtuality).
P. Milgram and A.F. Kishino, “Taxonomy of Mixed Reality Visual Displays,” IEICE Trans. Information and Systems, vol. E77-D, no. 12, 1994, pp. 1321-1329.
https://www.researchgate.net/publication/231514051_A_Taxonomy_of_Mixed_Reality_Visual_Displays
植田コメント:上図は下記文献より引用。なお、この論文のARについての歴史が分かりやすかったです(p. 4-6)。
拡張現実技術を用いた学習環境の開発と学習効果に関する研究-鳴門教育大学リポジトリ
馬 文鵬, 拡張現実技術を用いた学習環境の開発と学習効果に関する研究, 鳴門教育大学学位論文(博士), 14503甲第286号(2017)
Huges(2005)
Huges(2005)は複合現実(MR)の概念を具体化した:
複合現実(MR)は、映像と音声の処理系がキャプチャ、レンダリングして、
- 拡張現実(AR:映像、音、触覚、匂い、熱さなど。下図の左側)と
- 拡張仮想(AV:仮想世界にカメラやセンサーなどから取得した現実の情報をオーバーレイさせる。下図の右側)
のためにビジュアルとオーディオのコンテンツを合成されたものである。
なお、ここでは現実の映像はカメラから取得することになっている点が、現在のものとは少し違う。
Huges (2005) embodied the concept of MR:
MR is the mixed visual and audio content for both AR (such as image, sound, smell, heat. The left side of the figure below) and AV (Virtual world overlaid with information of real world obtained with such as camera and sensors. The right side of the figure below) which is captured, rendered and mixed by graphics and audio engines.
In this case, actual images are supposed to be acquired from the camera. This is a bit different from the current one.
D.E.Hughes, Defining an Audio Pipeline for Mixed Reality, Proceedings of Human Computer Interfaces International, Lawrence Erlbaum Assoc., Las Vegas (2005)
Adrianaら(2009)
Adrianaら(2009)は、複合現実(MR)の定義を洗練させた:
複合現実(MR)とは、現実空間と仮想空間を混合し、現実のモノと仮想的なモノがリアルタイムで影響しあう新たな空間を構築する技術全般を指す。
彼らは複合現実(MR)から、拡張仮想というややわかりにくい概念を削除し、代わりに現実空間とした(意味としては変わっていない)。また、空間性と相互作用性、リアルタイム性を強調した。
Adriana et al. (2009) sophisticated the definition of MR:
MR is the merging of real and virtual worlds to produce new environments and visualizations where physical and digital objects co-exist and interact in real time.
They removed the somewhat confusing concept of AV from MR and added real space instead (meaning has not changed). They also emphasized spatiality, interactivity and real-time nature..
Adriana de Souza e Silva, Daniel M. Sutko: Digital Cityscapes: merging digital and urban playspaces. New York: Peter Lang Publishing, Inc., 2009
ーーー
参考:「Mixed Reality in Education, Entertainment, and Training」