　　　

☆☆☆Web配信セミナー☆☆☆

『ディープラーニングの推論高速化に役立つ
　モデル軽量化技術の基礎と最新動向』

S220208AW

　☆☆☆本セミナーは、Zoomを使用して、行います。☆☆☆

開催日時：2022年2月8日（火）11:00-16:30
受講料：お1人様受講の場合　51,700円[税込]／1名
　　　　　1口でお申込の場合　62,700円[税込]／1口（3名まで受講可能）

　★本セミナーの受講にあたっての推奨環境は「Zoom」に依存しますので、ご自分の環境が対応しているか、
　お申込み前にZoomのテストミーティング（http://zoom.us/test）にアクセスできることをご確認下さい。

　★インターネット経由でのライブ中継ため、回線状態などにより、画像や音声が乱れる場合があります。
　講義の中断、さらには、再接続後の再開もありますが、予めご了承ください。

　★受講中の録音・撮影、スクリーンキャプチャ等は固くお断りいたします。

　　

　講　師

　山本康平（やまもとこうへい）　氏
　　沖電気工業株式会社　イノベーション推進センター　AI技術研究開発部

＜略歴、等＞

　2014年中央大学大学院　理工学研究科　博士前期課程修了。
　2014年　沖電気工業株式会社入社、機械学習応用の研究開発に従事。
　　現在に至る
　訳書（共訳）「Pythonによる機械学習―予測解析の必須テクニック―」共立出版（2019）

　セミナーの概要

　ディープラーニングのモデルは、その他の機械学習モデルと比べて推論処理に必要なメモリ使用量・演算量が膨大であり、さらにそれらを多く必要とするモデルほど性能（認識精度など）が良くなる傾向があります。一般に、メモリ使用量や演算量は、処理速度・消費電力・部品コスト等に直接関わるため、なるべく小さく抑えたいところです。そのようなニーズに対し、ディープラーニングモデルの性能をできる限り維持しつつメモリ使用量・演算量を削減する軽量化技術が登場し、研究が進められています。
　本講演では、画像認識問題を題材として、まず軽量化の観点からディープラーニングの基礎を説明した後、様々な軽量化技術のテクニックを紹介していきます。各テクニックに関しては、AI系の有力国際会議（CVPR、ICLRなど）やプレプリントサーバ（ArXiv）に掲載されている最新技術を主に扱い、理論的な厳密さよりもイメージやコンセプト重視でわかりやすくご説明します。

　講義項目

　1　ディープラーニングの基礎

　　1.1　データ表現と問題設定
　　1.2　全結合ネットワークモデル
　　1.3　畳み込みネットワークモデル
　　1.4　代表的なモデルとその構成要素

　2　モデルプルーニング

　　2.1　非構造化プルーニング
　　　・Magnitude-based Pruning
　　　・Lottery Ticket Hypothesis
　　　・Weight Rewinding
　　　・Learning-rate Rewinding
　　2.2　構造化プルーニング
　　　・L1norm-based Pruning
　　　・ThiNet
　　　・PCAS

　3　ネットワーク量子化

　　3.1　二値化
　　　・XNOR-Net
　　　・Bi-Real Net
　　3.2　一様量子化
　　　・Integer Arithmetic Only Inference
　　　・PACT
　　　・Learned Step-size Quantization
　　3.3　非一様量子化
　　　・LogNet
　　　・Learnable Companding Quantization

☆☆☆Web配信セミナー☆☆☆

『ディープラーニングの推論高速化に役立つ
　モデル軽量化技術の基礎と最新動向』

山本康平（やまもとこうへい）　氏
　　沖電気工業株式会社　イノベーション推進センター　AI技術研究開発部

1　ディープラーニングの基礎

1.1　データ表現と問題設定
　　1.2　全結合ネットワークモデル
　　1.3　畳み込みネットワークモデル
　　1.4　代表的なモデルとその構成要素

2　モデルプルーニング

2.1　非構造化プルーニング
　　　・Magnitude-based Pruning
　　　・Lottery Ticket Hypothesis
　　　・Weight Rewinding
　　　・Learning-rate Rewinding
　　2.2　構造化プルーニング
　　　・L1norm-based Pruning
　　　・ThiNet
　　　・PCAS

3　ネットワーク量子化

3.1　二値化
　　　・XNOR-Net
　　　・Bi-Real Net
　　3.2　一様量子化
　　　・Integer Arithmetic Only Inference
　　　・PACT
　　　・Learned Step-size Quantization
　　3.3　非一様量子化
　　　・LogNet
　　　・Learnable Companding Quantization

4　軽量アーキテクチャ設計

4.1　分岐・合流接続の工夫
　　　・PeleeNet
　　　・CSPNet
　　4.2　畳み込みの要素分解
　　　・MobileNet-V1
　　　・MobileNet-V2
　　4.3　構造の自動探索
　　　・FBNet

5　その他の軽量化技術

5.1　重み共有
　　　・Product Quantization
　　5.2　知識蒸留
　　　・Few Sample Knowledge Distillation
　　5.3　低ランク近似
　　　・Compression-aware Training

6　まとめ

☆☆☆Web配信セミナー☆☆☆ 『ディープラーニングの推論高速化に役立つ モデル軽量化技術の基礎と最新動向』

山本康平（やまもとこうへい） 氏 沖電気工業株式会社 イノベーション推進センター AI技術研究開発部

1 ディープラーニングの基礎

1.1 データ表現と問題設定 1.2 全結合ネットワークモデル 1.3 畳み込みネットワークモデル 1.4 代表的なモデルとその構成要素

2 モデルプルーニング

2.1 非構造化プルーニング ・Magnitude-based Pruning ・Lottery Ticket Hypothesis ・Weight Rewinding ・Learning-rate Rewinding 2.2 構造化プルーニング ・L1norm-based Pruning ・ThiNet ・PCAS

3 ネットワーク量子化

3.1 二値化 ・XNOR-Net ・Bi-Real Net 3.2 一様量子化 ・Integer Arithmetic Only Inference ・PACT ・Learned Step-size Quantization 3.3 非一様量子化 ・LogNet ・Learnable Companding Quantization

4 軽量アーキテクチャ設計

4.1 分岐・合流接続の工夫 ・PeleeNet ・CSPNet 4.2 畳み込みの要素分解 ・MobileNet-V1 ・MobileNet-V2 4.3 構造の自動探索 ・FBNet

5 その他の軽量化技術

5.1 重み共有 ・Product Quantization 5.2 知識蒸留 ・Few Sample Knowledge Distillation 5.3 低ランク近似 ・Compression-aware Training

6 まとめ

　　　

☆☆☆Web配信セミナー☆☆☆

『ディープラーニングの推論高速化に役立つ
　モデル軽量化技術の基礎と最新動向』

　山本康平（やまもとこうへい）　氏
　　沖電気工業株式会社　イノベーション推進センター　AI技術研究開発部

　1　ディープラーニングの基礎

　　1.1　データ表現と問題設定
　　1.2　全結合ネットワークモデル
　　1.3　畳み込みネットワークモデル
　　1.4　代表的なモデルとその構成要素

　2　モデルプルーニング

　　2.1　非構造化プルーニング
　　　・Magnitude-based Pruning
　　　・Lottery Ticket Hypothesis
　　　・Weight Rewinding
　　　・Learning-rate Rewinding
　　2.2　構造化プルーニング
　　　・L1norm-based Pruning
　　　・ThiNet
　　　・PCAS

　3　ネットワーク量子化

　　3.1　二値化
　　　・XNOR-Net
　　　・Bi-Real Net
　　3.2　一様量子化
　　　・Integer Arithmetic Only Inference
　　　・PACT
　　　・Learned Step-size Quantization
　　3.3　非一様量子化
　　　・LogNet
　　　・Learnable Companding Quantization

　4　軽量アーキテクチャ設計

　　4.1　分岐・合流接続の工夫
　　　・PeleeNet
　　　・CSPNet
　　4.2　畳み込みの要素分解
　　　・MobileNet-V1
　　　・MobileNet-V2
　　4.3　構造の自動探索
　　　・FBNet

　5　その他の軽量化技術

　　5.1　重み共有
　　　・Product Quantization
　　5.2　知識蒸留
　　　・Few Sample Knowledge Distillation
　　5.3　低ランク近似
　　　・Compression-aware Training

　6　まとめ　