詳解 Transformer

　　～Transformerの仕組みから
　 　　自然言語処理、画像処理、音声認識への最新応用まで～

　　　　　※ニューラルネットワークの基礎的な知識をお持ちの方向け※


　S220324NW


本セミナーは Zoom を使用いたします。

開催日時：2022年3月24日（木） 10:30-16:30　（10:25受付開始）

受 講 料：お1人様受講の場合　51,700円[税込] / 1名

　　　　　1口でお申込の場合　62,700円[税込] / 1口（3名まで受講可能）

※　テキストは２日前を目安に、PDFファイルをダウンロードできるようにする予定です。

　田村 晃裕　氏　　　　同志社大学　理工学部　情報システムデザイン学科　准教授

　　　　　　　　　　　近年、「Transformer」という深層学習モデルが、自然言語処理や画像処理、音声処理
　　　　　　　　　　といった様々な分野の多くのタスクで最高性能を達成し、注目を集めています。
　　　　　　　　　　　本講座では、そのTransformerの典型的モデルの仕組みから、自然言語処理、画像処理、
　　　　　　　　　　音声認識に応用した最新モデルまでを解説します。ニューラルネットワークの基礎的な知
　　　　　　　　　　識をお持ちの方向けのセミナーです。





　　1. Transformerの仕組み
　　　1.1 エンコーダ・デコーダモデル
　　　1.2 アテンション機構
　　　1.3 位置エンコーディング

　　2. 自然言語処理への応用（BERT）
　　　2.1 事前学習とファインチューニング
　　　2.2 マスク化言語モデル
　　　2.3 次文予測

　　3. 画像処理への応用（ViT）
　　　3.1 パッチ埋め込み
　　　3.2 ViTブロック

　　4. 音声認識への応用（Conformer）
　　　4.1 Conformerブロック
　　　4.2 相対位置埋め込み