3D映像制作のための基礎からわかるMR（複合現実）～リアルとバーチャルの融合技術～

【目次】

０章　まえがき

1. ０.１．内容と対象
   1. ０.１.１．用語の確認
   2. ０.１.２．MRでVRからARにいたる現実感技術を体系化
2. ０.２．構成

１章　ミクストリアリティ～MRの基礎～

本章の概要

1. １.１．人の体験と活動を増強する 「現実感技術」
   1. １.１.１．現実と非現実、フィジカルとデジタル
   2. １.１.２．デジタル技術で越えるフィジカルの制約
   3. １.１.３．フィジカルとデジタルの境界面
   4. １.１.４．現実感技術はもうひとつの 「身体」
2. １.２．人の感覚体験と現実感技術
   1. １.２.１．現実とは推定された知覚世界
   2. １.２.２．現実感は整合性のある感覚体験
   3. １.２.３．環境の多様な様相を受容する仕組み
   4. １.２.４．感覚モダリティの種類
3. １.３．VRの発祥とMRへの展開
   1. １.３.１．VRの胎動
   2. １.３.２．VRの誕生
   3. １.３.３．VRからAR、MRへ
   4. １.３.４．社会一般への普及
4. １.４．VR とAR からMR へのアップデート
   1. １.４.１．学術上はMR=VR+AR
   2. １.４.２．実質的にはMR=VR×AR
   3. １.４.３．MRを再定義する

２章　ディスプレイ（基本編）～映像空間への没入～

本章の概要

1. ２.１．人の視覚のメカニズム
   1. ２.１.１．光と眼とMR
   2. ２.１.２．光
   3. ２.１.３．人の視覚のメカニズム～光を受容する器官 「眼」 ～
   4. ２.１.４．色の知覚のメカニズムと三原色
   5. ２.１.５．奥行き知覚の仕組み
2. ２.２．MRの視覚体験
   1. ２.２.１．視覚的リアリティの要件
   2. ２.２.２．人の視覚機構に関わる4種の要件
3. ２.３．MR空間の視覚情報に関わる4つの整合性
   1. ２.３.１．バーチャルとリアルとを一体化して体験する
   2. ２.３.２．幾何学的整合性
   3. ２.３.３．光学的整合性
   4. ２.３.４．空間的整合性
   5. ２.３.５．時間的整合性
4. ２.４．MRのディスプレイ形態と特徴
   1. ２.４.１．ユーザと表示環境との空間的配置による分類
   2. ２.４.２．眼前の画面に映像を提示するHMD
   3. ２.４.３．ハンドヘルド型MRディスプレイ
   4. ２.４.４．据え置き型MRディスプレイ
   5. ２.４.５．環境型MRディスプレイ
   6. ２.４.６．HMDと没入型ディスプレイ～アプローチの比較～
5. ２.５．HMD
   1. ２.５.１．HMDの基本機能
   2. ２.５.２．HMDのディスプレイ構造
   3. ２.５.３．ステレオ立体表示
   4. ２.５.４．レジストレーション機能
6. ２.６．MR HMD
   1. ２.６.１．2種類のシースルー型ディスプレイ方式
   2. ２.６.２．光学シースルー方式
   3. ２.６.３．ビデオシースルー方式
7. ２.７．プログラムの考え方
   1. ２.７.１．基本プログラム
   2. ２.７.２．左右独立2系統式のHMD用画像の生成
   3. ２.７.３．単一画面型の広視野HMD
   4. ２.７.４．歪補正
   5. ２.７.５．ビデオシースルー型MR画像の生成
   6. ２.７.６．ビデオシースルーHMDでの処理を俯瞰
8. ２.８．環境型・没入型ディスプレイ
   1. ２.８.１．人を映像で包み込む環境型・没入型ディスプレイ
   2. ２.８.２．広視野スクリーン式没入型ディスプレイ
   3. ２.８.３．平面形状
   4. ２.８.４．曲面形状
9. ２.９．ステレオ立体表示の基本
   1. ２.９.１．ステレオ立体表示の原理
   2. ２.９.２．眼鏡型ステレオ立体表示
   3. ２.９.３．パッシブステレオ方式
   4. ２.９.４．偏光方式
   5. ２.９.５．アクティブステレオ方式
   6. ２.９.６．プログラムの考え方
10. ２.10．水平視差画像による裸眼型立体表示
    1. ２.10.１．パララックスバリア方式とレンチキュラ方式
    2. ２.10.２．二眼から多眼への拡張
    3. ２.10.３．多眼から超多眼へ
    4. ２.10.４．裸眼型立体表示方式とヘッドトラッキングとの併用
    5. ２.10.５．プログラムの考え方

３章　ディスプレイ（発展編）～実体的な空間性の再現～

本章の概要

1. ３.１．インテグラルフォトグラフィ
   1. ３.１.１．原理の概要
   2. ３.１.２．効果は視点位置の自由度増大
   3. ３.１.３．インテグラル3D方式
   4. ３.１.４．MRとインテグラル3Dディスプレイ
2. ３.２．ホログラフィ
   1. ３.２.１．基本原理
   2. ３.２.２．ホログラムの記録と再生
   3. ３.２.３．ホログラムの一般的利用
   4. ３.２.４．ホログラフィのデジタル化
3. ３.３．ボリューム・ディスプレイ
   1. ３.３.１．3次元的なボリュームのある光や実体
   2. ３.３.２．空中に光で映像を描き出す「体積走査ディスプレイ」
   3. ３.３.３．手に触れられるような「実体型ディスプレイ」
4. ３.４．光学式空中像
   1. ３.４.１．光学的な仕組みによる空中像
   2. ３.４.２．虚像型空中像～ハーフミラー方式（ペッパーズゴースト方式） ～
   3. ３.４.３．実像型 （投影型） 疑似空中像
   4. ３.４.４．実像型 （空中結像型） 空中像
   5. ３.４.５．MRと空中像

４章　センシング～現実環境からMR環境への入力～

本章の概要

1. ４.１.　現実環境のセンシング
   1. ４.１.１.　バーチャル環境には現実環境が必要
   2. ４.１.２.　ジオメトリとフォトメトリ
   3. ４.１.３.　点から面、体積へ
2. ４.２.　位置と姿勢のセンシング
   1. ４.２.１.　位置姿勢計測の基本
   2. ４.２.２.　身体動作のセンシング
   3. ４.２.３.　位置姿勢計測の代表的な諸方式
3. ４.３.　位置姿勢計測センサ
   1. ４.３.１.　機械式
   2. ４.３.２.　磁気式
   3. ４.３.３.　慣性方式
   4. ４.３.４.　光学式
   5. ４.３.５.　レーザ走査トラッキング方式
4. ４.４.　空間構造のデジタル化
   1. ４.４.１.　位置姿勢センサからデプスビジョンへ
   2. ４.４.２.　ステレオ法
   3. ４.４.３.　Time-of-Flight法
   4. ４.４.４.　デプスビジョンからボリューメトリックへ

５章　インタラクション～MR環境と身体との相互作用～

本章の概要

1. ５.１．力覚と触覚
   1. ５.１.１．力覚と触覚の役割は力加減
   2. ５.１.２．力触覚の知覚の仕組み
   3. ５.１.３．力触覚ディスプレイ
2. ５.２．力覚ディスプレイ
   1. ５.２.１．力覚ディスプレイのアプローチを俯瞰する
   2. ５.２.２．トルク （回転力） を発生する回転体方式
   3. ５.２.３．力覚ディスプレイとMR
3. ５.３．触覚ディスプレイ
   1. ５.３.１．振動式触覚ディスプレイ
   2. ５.３.２．超音波アレイ式触覚ディスプレイ
   3. ５.３.３．その他の触覚ディスプレイ
   4. ５.３.４．触覚ディスプレイとMR
4. ５.４．歩行感覚の提示
   1. ５.４.１．ロコモーション・インタフェースの基本原理
   2. ５.４.２．ロコモーション・インタフェースの諸方式
   3. ５.４.３．視覚的な錯覚と組み合わせて歩行空間を歪ませる
   4. ５.４.４．その他のアプローチ
   5. ５.４.５．ロコモーション・インタフェースとMR

６章　アプリケーション～MRの応用と展望～

本章の概要

1. ６.１．フィジカルな環境に浸透するMR
   1. ６.１.１．フィジカルMRディスプレイ
   2. ６.１.２．MRの社会実装にフォーカスする「ラヴァル・バーチャル」
   3. ６.１.３．教育と医療、トレーニングへの展開
2. ６.２．一次救命処置を体得する
   1. ６.２.１．一次救命処置が生死を分ける
   2. ６.２.２．バーチャルな患者をフィジカルに救命するシミュレータ
3. ６.３．実験器具の使い方を体得する
   1. ６.３.１．安全性と学習機会の両立を目指す
   2. ６.３.２．フィジカルなバーナーとバーチャルな炎で学ぶ
4. ６.４．生態系や生命の動態に触れる
   1. ６.４.１．循環する生態系の動態を知る
   2. ６.４.２．微小生物の動きを力覚で感じとる
5. ６.５．地形に触れて学際的に学ぶ
   1. ６.５.１．視覚と触覚で見る、触る地図
6. ６.６．バーチャルな標本教材に触れ、学ぶ
   1. ６.６.１．生物や人体についての学びを拡張する
   2. ６.６.２．視覚と力触覚を複合した振動する標本ケース
   3. ６.６.３．複数人で視聴し学ぶ、疑似3次元映像のカプセル
7. ６.７．眼に見えない概念を触れて学ぶ
   1. ６.７.１．数理的な概念を触り、見て、学ぶ
   2. ６.７.２．プログラムをカードで紡ぎ、図形を描く
   3. ６.７.３．電圧と電流を映像化して学ぶ
   4. ６.７.４．日本の伝統色の名前と歴史・文化
8. ６.８．癒しと娯楽
   1. ６.８.１．フィジカルとバーチャルで異世界を楽しむ
   2. ６.８.２．リアル世界とバーチャル世界の境界を防衛！
   3. ６.８.３．忍者になって鬼退治！
   4. ６.８.４．バーチャル世界の魚と素手で戯れる
9. ６.９．MRが偏在化する未来へ

【参考文献】

• Scott S. Fisher, Michael W. McGreevy, Jim Humphries, Warren Robinett (1986). Virtual environment display system. I3D '86: Proceedings of the 1986 workshop on Interactive 3D graphics, pp. 77-87. January 1987. DOI: https://doi.org/10.1145/319120.319127.
• 舘暲 (2006). 10周年記念特集 日本のVR～VR黎明期の記憶～. 日本バーチャルリアリティ学会誌第11巻2号, pp. 21 - 24. 2006年6月.
• Paul Milgram, Fumio Kishino (1994). A Taxonomy of mixed reality visual displays. IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994.
• Mixed Reality: Merging Real and Virtual. Yuichi Ohta and Hideyuki Tamura, Springer (1999/4/1). ISBN: ISBN-10:3540656235.
• 『バーチャルリアリティ学』[監修] 舘暲, 佐藤誠, 廣瀬通孝, [編集] 日本バーチャルリアリティ学会. コロナ社 (2011/1/11). ISBN978-4-904490-05-1
• Ronald T. Azuma (1997). A survey of augmented reality. In Presence: Teleoperators and Virtual Environments Vol. 6, No. 4 (August 1997), pp. 355 -385.
• 『VR実践講座～HMDを越える4つのキーテクノロジー～』岩田洋夫. 科学情報出版（2017/9/13). ISBN978-4-904774-60-1.
• 『AR技術の基礎・発展・実践』[監修] 蔵田武志, 清川清, [編集] 大隈隆史. 科学情報出版 (2015/9/28) ISBN978-4-904774-39-7.
• 『ARの教科書』[著] D. Schmalstieg, T. Höllerer, [編集] 池田聖, 酒田信親, 山本豪志朗, [訳] 池田聖ほか. マイナビ出版 (2018/7/26). ISBN978-4-8399-6536-5.
• 『コンピュータグラフィックス[改訂新版]』画像処理教育振興協会 (2016/9/20). ISBN-10:4903474496
• Ramesh Raskar, Greg Welch, Henry Fuchs (1998). Spatially Augmented Reality. Proc. of IWAR‘98, pp. 63 - 72. SF, USA (November 1998).
• Ivan E. Surtherland (1968). A head-mounted three dimentional display. AFIPS '68 (Fall, part I): Proceedings of the December 9-11, 1968, fall joint computer conference, part I, pp. 757-764. December 1968. DOI: https://doi.org/10.1145/1476589.1476686.
• Steven Feiner, Blair MacIntyre, Tobias Höllerer, Anthony Webster (1997). A touring machine: Prototyping 3D mobile augmented reality systems for exploring the urban environment. Personal Technologies, Vol. 1, pp. 208-217.
• Carolina Cruz-Neira, Daniel J. Sandin, Thomas A. DeFanti (1992). The CAVE: Audio visual experience automatic virtual environment, Communications of the ACM, Vol. 35, No. 6. June 1992. pp. 65-72. DOI: https://doi.org/10.1145/129888.129892.
• 河西元, 原祥堯, 坪内孝司, 大矢晃久 (2014). 超広角低歪なレンズの高次多項式モデルを用いたカメラキャリブレーション. ロボティクス・メカトロニクス講演会講演概要集 2014 (0), _1P1-C08_1-_1P1-C08_4, 2014.
• Power Wall. University of Minnesota.
  https://www.lcse.umn.edu/research/powerwall/powerwall.html.
  (2023年11月12日参照)
• 『GLUT/freeglutによるOpenGL入門』床井浩平. 工学社 (2015/10/16). ISBN-10: 4777519171.
• 『ステレオグラフィックス＆ホログラフィ』安居院猛, 中嶋正之. 秋葉出版. (1985/4/20). ISBN4-87184-037-9.
• 『ホログラフィ入門 コンピュータを利用した3次元映像・3次元計測』伊藤智義, 下馬場朋禄. 講談社. 2017年. ISBN-10:4061565702.
• Takeo Kanade, Peter Rander, P. J. Narayanan (1997) Virtualized reality: constructing virtual worlds from real scenes. IEEE Multimedia, Vol. 4, No. 1, pp. 34-47 (Jan.-March 1997). DOI: 10.1109/93.580394.
• 『VR実践講座～HMDを越える4つのキーテクノロジー～』岩田洋夫. 科学情報出版（2017/9/13). ISBN978-4-904774-60-1.
• Keigo Matsumoto, Takuji Narumi, Yuki Ban, Yohei Yanase, Tomohiro Tanikawa, Michitaka Hirose (2019). Unlimited Corridor: A Visuo-haptic Redirection System. VRCAI '19: Proceedings of the 17th International Conference on Virtual-Reality Continuum and its Applications in Industry. Article No. 18, Pages 1-9 (November 2019). DOI: https://doi.org/10.1145/3359997.3365705.
• Toshikazu Ohshima, Hiroki Ishihara, Ryuki Shibata (2016). Virtual ISU: Locomotion interface for immersive VR gaming in seated position. VRIC ‘16: Proceedings of the 2016 Virtual Reality International Conference. Article No. 2, pp. 1-4. Laval, France (March 2016). DOI: https://doi.org/10.1145/2927929.2927941.
• Toshikazu Ohshima, Hiroki Ishihara, Ryuki Shibata (2016). Virtual ISU. Laval Virtual 2016 ReVolution, Demo. Laval, France (March 2016).
• Laval Virtual. URL: https://laval-virtual.com
• Toshikazu Ohshima, Saina Matsui, Mizuki Yamane, Yali Ling, Katsuhito Muroi, Chihiro Sakai (2023). MR BLS Trainer: A Physical Mixed Reality CPR+AED Rescue Simulator. SA '23: Proceedings of SIGGRAPH Asia 2023 XR. Sydney, Australia (December 2023). DOI: https://doi.org/10.1145/3610549.3614591.
• Ritsumeikan Ohshima Lab., MR BLS Trainer.
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/MR_BLS_Trainer
• Toshikazu Ohshima, Kai Nishimoto (2021). HoloBurner. Laval Virtual 2021, ReVolution #research. Laval, France (April 2021).
• Toshikazu Ohshima, Kai Nishimoto (2021). HoloBurner: A mixed reality equipment for learning flame color reaction by using aerial imaging display, SA '21: Proceedings of SIGGRAPH Asia 2021 Emerging Technology, Article No. 7. Tokyo, Japan (December 2021). DOI: https://doi.org/10.1145/3476122.3484846.
• Ritsumeikan Ohshima Lab., HoloBurner
  URL https://scrapbox.io/OhshimaLab-Ritsumei/Holo_Burner
• Toshikazu Ohshima, Kenzo Kojima (2017) MitsuDomoe. Laval Virtual 2017 ReVolution, Demo. Laval, France (March 2017).
• Toshikazu Ohshima, Kenzo Kojima (2017). MitsuDomoe: ecosystem simulation of virtual creatures in petri dish. VRIC '17: Proceedings of the Virtual Reality International Conference - Laval Virtual 2017. Article No. 2. Laval, France (March 2017). DOI: https://doi.org/10.1145/3110292.3110295.
• Ritsumeikan Ohshima Lab., MitsuDomoe
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/Mitsudomoe
• Toshikazu Ohshima (2018). Tactile Microcosm of ALife. Laval Virtual 2018 ReVolution, Demo. Laval, France (April 2018).
• Toshikazu Ohshima, Tsukasa Sumizono (2018). Tactile microcosm of ALife: interaction with artificial life by aerial mixed reality display. SA '18: SIGGRAPH Asia 2018 Posters, Article No. 53. Tokyo, Japan (December 2018). DOI: https://doi.org/10.1145/3283289.3283357.
• Toshikazu Ohshima (2019). Tactile Microcosm of ALife. SA '19: SIGGRAPH Asia Art Gallery/Art Papers, Article No. 15. Brisbane, Australia (November 2019). DOI: https://doi.org/10.1145/3354918.3366357.
• Ritsumeikan Ohshima Lab., Tactile Microcosm of ALife
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/Tactile_Microcosm_of_ALife
• Akari Watanabe, Toshikazu Ohshima (2023). HaptoMap: A visuo-tactile map interface to support geography education. Laval Virtual 2023 ReVolution #research, Demo. Laval, France (April 2023).
• Ritsumeikan Ohshima Lab. HaptoMap.
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/HaptoMap
• Kiichiro Kigawa, Toshikazu Ohshima (2019). HaptoBOX. Laval Virtual 2019 ReVolution #research. Laval, France. March 2019.
• Kiichiro Kigawa, Toshikazu Ohshima (2019). HaptoBOX: A multi-sensory physical interface for mixed reality experience. Proc of ACM SIGGRAPH Asia 2019 Posters, Article No. 13. Brisbane, Australia (November 2019). DOI: https://doi.org/10.1145/3355056.3364560.
• Ritsumeikan Ohshima Lab. HaptoBOX.
  https://scrapbox.io/OhshimaLab-Ritsumei/HaptoBox
• Toshikazu Ohshima, Takeru Watanabe (2020). HoloBall. Laval Virtual ReVolution #research 2020. Laval, France (April 2020).
• Ritsumeikan Ohshima Lab. HoloBALL.
  https://scrapbox.io/OhshimaLab-Ritsumei/HoloBall
• Ren Sakamoto, Toshikazu Ohshima (2019). Code Weaver. Laval Virtual 2019 ReVolution #research. Laval, France (April 2019)
• Ren Sakamoto, Toshikazu Ohshima (2019). Code Weaver: A Tangible Programming Learning Tool with Mixed Reality Interface. SA '19: SIGGRAPH Asia 2019 Posters, Article No. 11, Brisbane, Australia (November 2019). DOI: https://doi.org/10.1145/3355056.3364561.
• Ritsumeikan Ohshima Lab. Code Weaver.
  https://scrapbox.io/OhshimaLab-Ritsumei/Code_Weaver
• Ryo Watanabe, Toshikazu Ohshima (2022). CARAMEL: A physical mixed reality circuit simulator for learning electricity basics. Laval Virtual 2022 ReVolution #research. Laval, France (April 2022).
• Ritsumeikan Ohshima Lab. CARAMEL.
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/CARAMEL
• Chisa Yamamoto, Toshikazu Ohshima (2022). ImayohClay: A mixed reality tools for exploring Japanese traditional colors by using clay interface. Laval Virtual 2022 ReVolution #research. Laval, France (April 2022).
• Ritsumeikan Ohshima Lab. ImayohClay.
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/ImayohClay
• Toshikazu Ohshima (2012). RV-Border Guards 3. Laval Virtual 2013 ReVolution, Demo. Laval, France (March 2012).
• Ritsumeikan Ohshima Lab. RV-Border Guards 3.
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/RV-Border Guards: Attack_of_the_Mech_Insects
• 大島登志一, 佐藤清秀, 山本裕之, 田村秀行: RV-Border Guards, 日本バーチャルリアリティ学会誌, Vol. 4, No. 4, pp. 699-705. 1999年. DOI: https://doi.org/10.18974/tvrsj.4.4_699.
• Toshikazu Ohshima (2013). Hyak-Ki Men. Laval Virtual 2013 ReVolution Demo. Laval, France (April 2013).
• Toshikazu Ohshima, Yuki Shibata, Kohei Isshiki, Ko Hayami, Chiharu Tanaka (2013). Hyak-Ki Men: a study of framework for creating mixed reality entertainment. SA '13: ACM SIGGRAPH Asia 2013 Posters, Article No. 27. DOI: https://doi.org/10.1145/2542302.2542335. Hong Kong, China (November 2013).
• Ritsumeikan Ohshima Lab. Hyak-Ki Men.
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/Hyak-Ki Men: Mixed_Reality_Ninja_Entertainment
• Chiharu Tanaka, Toshikazu Ohshima (2014). MR Coral Sea. Laval Virtual ReVolution Demo. Laval France (March 2014).
• Toshikazu Ohshima, Chiharu Tanaka (2014). MR Coral Sea: mixed reality aquarium with physical MR displays. SA '14: SIGRAPH Asia 2014 Emerging Technologies, Article No. 10. DOI: https://doi.org/10.1145/2669047.2669051. Shenzen, China (November 2014).
• Ritsumeikan Ohshima Lab. MR Coral Sea.
  URL: https://scrapbox.io/OhshimaLab-Ritsumei/MR_Coral_Sea

【口コミ】