MRに関する論文を書くときの、MRの説明テンプレート

複合現実(Mixed Reality、MR)とは

植田コメント:「MR」という表現はかなり読者にとって辛いので、なるべく「複合現実」もしくは「複合現実(MR)」という表現を使う

複合現実(Mixed Reality、MR)の概念は1990年代からあるが、近年(2016年以降)の複合現実デバイス(HoloLens、Meta2、Magic Leap Oneなど)は以下のような外観である(写真はHoloLens)。

f:id:weed_7777:20180815174527p:plain

複合現実デバイスは頭に装着するヘッドセットである。VRのような密閉型ではなく、透過型(シースルー)であり、周りの景色を見ることができる。

複合現実デバイスは、光学カメラと深度センサーを複数搭載することで、以下のように周囲の3次元形状や装着者の視線の向き・姿勢・移動をリアルタイムで把握することができる。

f:id:weed_7777:20180815175727j:plain

<インサイドアウト式の6DoFをうまくとらえている画像、ありませんでしょうか?>

そして、複合現実デバイスを装着すると眼の前に精細加工された光学レンズが配置され、眉間の位置から照射された光が光学レンズで反射され、網膜に照射して立体映像を表示する。装着者は、立体映像と周りの景色を同時に見ることができる。

f:id:weed_7777:20180815181141j:plain

この画像も分かりにくい

前述の通り、複合現実デバイスは装着者の視線の向き・姿勢・移動をリアルタイムで把握することができるため、視線の向きを変えたり、姿勢を変えたり、移動したりしても、立体映像はまるで現実の空間に「存在する」かのように装着者には見える。

f:id:weed_7777:20180815181839p:plain

つまり、複合現実デバイスを装着すると、現実の光景と仮想の映像を合成して(Mix)見ることができる。このため、複合現実(Mixed Reality、MR)と呼ばれる。

複合現実(MR)の概念はMilgramらによって提案された。それによると、複合現実(MR)体験とは、インタラクティブな、

  • 拡張された現実(拡張現実、Augmented Reality、AR、映像、音、触覚、匂い、熱さなど)を伴う現実世界
  • 拡張された仮想(拡張仮想、Augmented Virtuality、AV、仮想世界に現実の情報をオーバーレイさせる)を伴う仮想世界

にユーザーが入る体験である。

An MR experience is one where the user is placed in an interactive setting that is either real with virtual asset augmentation (augmented reality), or virtual with real-world augmentation (augmented virtuality).

P. Milgram and A.F. Kishino, “Taxonomy of Mixed Reality Visual Displays,” IEICE Trans. Information and Systems, vol. E77-D, no. 12, 1994, pp. 1321-1329.

https://www.researchgate.net/publication/231514051_A_Taxonomy_of_Mixed_Reality_Visual_Displays

複合現実(MR)では、グラフィックスとオーディオのエンジンがキャプチャ、レンダリングして、拡張現実(AR)や拡張仮想(AV)のためにビジュアルとオーディオのコンテンツをミックスする(Huges, 2005)。

The graphics and audio engines capture, render, and mix visual and audio content for both augmented reality and augmented virtuality.

f:id:weed_7777:20180809044838p:plain

f:id:weed_7777:20180809044821p:plain

D.E. Hughes, “Defining an Audio Pipeline for Mixed Reality,” Proc. HCI Int’l, CD-ROM, Lawrence Erlbaum Assoc., 2005.

複合現実(MR)とは、現実空間と仮想空間を混合し、現実のモノと仮想的なモノがリアルタイムで影響しあう新たな空間を構築する技術全般を指す(Adrianaら, 2009)。

Adriana de Souza e Silva, Daniel M. Sutko: Digital Cityscapes: merging digital and urban playspaces. New York: Peter Lang Publishing, Inc., 2009

books.google.co.jp

ーーー

参考:「Mixed Reality in Education, Entertainment, and Training」

https://www.researchgate.net/publication/7454465_Mixed_Reality_in_Education_Entertainment_and_Training

科学教育学会で、HoloLens授業を論文にして発表してきました

f:id:weed_7777:20180725134055j:plain

科学教育学会で、HoloLens授業を論文(査読なし)にして発表してきました。好反応でしたが、「研究開発にはプログラマーが必要」でガッカリしておられました。

論文

http://www.jsse.jp/~kenkyu/201732/10/20183210_29-32.pdf

米マイクロソフトの公式ホームページで英語で紹介されました

f:id:weed_7777:20180629170518p:plain

日本マイクロソフトの方には以下のように紹介して頂きました。

「ご自身が開発されたオリジナルのHoloLensアプリを教材として活用し、日本全国の学校で出前授業を行われているMicrosoft MVP for Windows Developmentの植田達郎さんの活動をMicrosoft MVP Award Program Blogにてご紹介しています。磁場を可視化するアプリによって実際に磁場を体感できること、そして重度障害をお持ちの生徒さんにとっての新しい経験など、HoloLensによって実現した新しい教育の形や植田さんの取り組みをぜひご覧ください。」

This MVP Travels Japan To Bring Science To Life With HoloLens – Microsoft MVP Award Program Blog

【第4弾】物理の熱機関のグラフもICTを活用してビジュアルなシミュレーションを見れば一目瞭然

f:id:weed_7777:20180601174823p:plain

【第4弾】物理の熱機関のグラフもICTを活用してビジュアルなシミュレーションを見れば一目瞭然。40秒です。シミュレーション・ボックスという製品を使いました。

授業用HoloLensの台数を増やしました

f:id:weed_7777:20180516181536j:plain

体験時間が長いほど学習効果も満足度も上がることがわかったので、HoloLensを2台、追加しました。これで50分授業、生徒数40人でも余裕を持って授業できますし、イベントでも大人数をさばけます。

HoloLensの磁界学習アプリで、棒磁石が複数の場合でも、磁力線を動的に表示できるようになりました

f:id:weed_7777:20180517084315p:plain

棒磁石が複数の場合でも、磁力線を動的に表示できるようになりました。これは生徒さん、喜ぶかな?

【第3弾】物理の熱機関のグラフもICTを活用してビジュアルなシミュレーションを見れば一目瞭然

f:id:weed_7777:20180514082552p:plain

【第3弾】物理の熱機関のグラフもICTを活用してビジュアルなシミュレーションを見れば一目瞭然。40秒です。シミュレーション・ボックスという製品を使いました。