『3Dセンサの測距原理とその応用』
～Multi-beam LiDAR, Time of Flight, Structured Light,
Photogrametry等の測距原理から次世代3Dセンシング方式と
非接触生体センシングの原理と応用まで～
S230911A
開催日時：2023年11月27日（月）10:00-17:00
会 場：東京都千代田区内会場を予定
受 講 料：お1人様受講の場合 53,900円[税込]／1名
1口でお申込の場合 66,000円[税込]／1口（3名まで受講可能）
上田智章（うえだともあき） 氏
株式会社フォスメガ 代表取締役社長
東京工業大学の教授、准教授、助教らからなる有志７名で受託研究会社（フォスメガ）を登記設立。
東京工業大学発ベンチャーの認定を受けました。計測に関連した試作品の製作、技術コンサルティングなどを行っています。
…私設研究所ネオテックラボ 所長
| ＜経歴＞ |
1982年 同志社大学 工学部 電子工学科 卒
1984年 同志社大学大学院 工学研究科 電気工学専攻 修了
1984年～1998年 ダイキン工業株式会社 電子技術研究所 勤務
1998年～2000年 株式会社計測器センター 開発部長
2000年～ 株式会社関西新技術研究所SQUID研究部主任研究員、株式会社KRI センシング技術部 主席研究員
2006年12月～2010年3月 東京工業大学 統合研究院 ソリューション研究機構 特任教授
2010年4月～2012年3月 東京工業大学 ソリューション研究機構 特任教授
2007年8月10日～現在 株式会社フォスメガ（PhosMega Co., Ltd.） 代表取締役 |
| |
各種3Dセンサの動作原理、構成要素の役割、測定制約条件、応用に適した用途などをデモを行いながら説明を行うとともに、応用事例についても紹介を行う。更に周囲画素の相関性を用いて情報を抽出するHyper
Sense手法とその応用、特に生体計測関連について説明を行う。
|
【イントロダクション編】
1 3Dセンサとは？
1.1 画素単位に測距を行う機能を有するイメージデバイス
1.1.1 RGB画像, 赤外線画像, サーマル画像, デプス画像の例
1.1.2 各画像と撮像波長
1.1.3 太陽光スペクトル
1.1.4 黒体輻射スペクトル
1.1.5 デプス画像の種類（モノクロ, C-LUT, 点群, 3Dメッシュ）
1.1.6 2Dデプスデータと3Dデータの違いとデプス値の定義
1.2 デプスカメラの応用分野
1.3 主な低価格市販デプスカメラ
1.4 3Dセンサの応用事例
【測距原理編】
2 各種3Dセンサの測距原理
2.1 【マルチビーム方式LiDAR】（iPhone LiDAR）
2.1.1 LiDARの基本動作原理（ToF: Time of Flight）
2.1.2 indirect ToF方式
2.1.3 direct ToF方式
2.1.4 メカニカルスキャン方式LiDARとその弱点
2.1.5 マルチビーム方式LiDAR
2.1.6 VCSELアレイ（Lumentum社）
①EELとVCSELの違い
②分布ブラッグ反射器
③ヒトの視細胞にもある分布ブラッグ反射器
④通常のレーザーダイオードとVCSELの特性の違い
⑤Lumentum社のVCSEL構造
⑥酸化膜の孔径と電流制限抵抗（並列駆動の仕組み）
⑦Lumentum社VCSEL arrayの4相駆動
⑧チップ底面のカソード実装方法
⑨並列定電流駆動回路
2.1.7 VCSELアレイマルチビーム用短焦点組レンズ
2.1.7.1 レーザーダイオードと短焦点レンズ
2.1.7.2 組レンズによるマルチビーム化
2.1.8 回折格子（DoE）
2.1.9 SPADイメージセンサ
①ヒトの視覚
②イメージセンサのデバイス構造の変遷
③SPADとは（アバランシェ・ダイオードによるフォトンカウントモード）
④SPADイメージセンサのデバイス構造
2.1.10 次世代光学フィルタ（MEMS光学フィルタ）
2.1.11 iPhone LiDARの構造
2.2 【Time of Flight】（Indirect ToF）
2.2.1 光パルスの往復時間または位相遅れを利用する（Time of Flight）
2.2.2 i-ToF方式アルゴリズム
2.3 【Stereo Matching】
2.3.1 ステレオ・マッチング
2.3.2 特徴点検出で視差を求める
2.3.3 三角形の相似で測距を行う
2.4 【Structured Light】
2.4.1 光源と観測位置の座標の違いを利用する(光三角法)
①光切断法
②モアレ法
③Structured Light固定パターン投影法（KinectV1, Carmine, iPhone Face ID）
＊ランダムドットパターンの生成
＊部分相関処理
＊ランダムドットパターンを用いた相関方法 / 高速高分解能カメラで各ドットを追尾するHyper Depth
＊Structured Light時分割パターン法
2.5 【Infrared Depth】
2.5.1 拡散反射光の性質を利用した測距アルゴリズム（Infrared Depth）
2.5.2 環境光、拡散反射、鏡面反射
2.5.3 光源指向性、距離減衰、吸光度、拡散反射
2.5.4 吸光度はToFで機械学習
2.5.5 吸光度をRGB画像から実測する方法
2.6 【マルチカメラによるPhotogrametry】
2.7 【単カメラによる自己位置推定による3D化】
…自己位置推定と環境地図作成を同時に行う
2.7.1 カメラ位置の違いから特徴点/テクスチャのマッチングを利用
2.7.2 PTAM（Parallel Tracking and Mapping）
2.7.3 SLAM（Simultaneous Localization and Mapping）
2.7.4 自己位置推定用シートマーカーを用いる方法(Qlone)
2.7.5 慣性測定ユニット（IMU）を用いたPhotogrametry
2.8 【カラー開口フィルタ】（東芝⇒JDI）
2.8.1 カラー開口フィルタ
2.8.2 透過液晶パネルを用いる方法
2.9 【機械学習により静止画から3D顔モデルを再構成する】
…cvl-demos.cs.nott.ac.uk/vrn/
2.10 【Make3D（視覚処理の模倣）】
3 【Hyper Sense】…数学モデルの未知数をLSMで推定する方法
特殊なカメラを使用せずに、デプスセンシングと非接触生体センシングを行う方式の提案（CQ出版インターフェース誌5月号記事に関連）
3.1 【CMOSイメージセンサについて】
3.2 【C.E.Shannonのチャンネル容量の法則】
3.3 【①増感処理】～近接画素情報を活用してノイズ除去～
3.4 【②マッチング処理】～波長別浸透深度の違いを可視化～
3.5 【色ベクトルとカラーマップ】
3.6 【色ベクトルとメラニン色素】
3.7 【血中溶存酸素濃度】
3.8 【ビリルビンと黄疸症状】
3.9 【ウロビリノーゲン】
3.10 【血糖値】
3.11 【単眼3Dセンシング】
3.12 【サッカー選手のリモートバイタルセンシング】（スポーツ応用）
3.13 【単眼3Dセンシングの問題点】
3.14 【ステレオ3Dセンシング】
3.15 【まとめ】
4 【心拍・呼吸に関する基礎知識】
4.1 心臓の構造と心電図
4.2 呼吸動作と酸素供給の関係
4.3 呼吸と心拍揺らぎの関係
4.4 入浴中の心拍揺らぎと年齢
4.5 【心拍・呼吸センシングの原理】
4.6 カラー画像または赤外線画像からの心拍センシング
4.7 デプスデータからの呼吸・心拍センシング
4.8 KinectV1での非接触呼吸・心拍センシング
4.9 スポット光方式
…反射光強度分布を放物面関数で近似して精密測距
4.10 マーカー方式
…濃度分布関数または円形マーカーを用いた精密測距
