Transformer
の基礎と応用

　　～Transformerの仕組みから
　 　　自然言語処理、画像処理、音声認識への
　　　 最新応用まで～　　　　　　　　



　S240729NW


本セミナーは Zoom を使用いたします。

開催日時：2024年7月29日（月） 10:30-16:30　（10:25受付開始）

受 講 料：お1人様受講の場合　53,900円[税込] / 1名

　　　　　1口でお申込の場合　66,000円[税込] / 1口（3名まで受講可能）

※　テキストは３日前を目安に、PDFファイルをダウンロードできるようにする予定です。

　田村 晃裕　氏　　　　同志社大学　理工学部　情報システムデザイン学科　准教授

　　　　　　　　　　　近年、「Transformer」という深層学習モデルが、自然言語処理や画像処理、音声処理
　　　　　　　　　　といった様々な分野の多くのタスクで最高性能を達成し、注目を集めています。
　　　　　　　　　　　本講座では、そのTransformerの典型的モデルの仕組みから、自然言語処理、画像処理、
　　　　　　　　　　音声認識に応用した最新モデルまでを解説します。





　　1. Transformerの仕組み
　　　1.1 エンコーダ・デコーダモデル
　　　1.2 アテンション機構
　　　1.3 位置エンコーディング

　　2. 自然言語処理への応用
　　　2.1 事前学習とファインチューニング
　　　2.2 マスク化言語モデル
　　　2.3 次文予測

　　3. 画像処理への応用
　　　3.1 パッチ埋め込み
　　　3.2 ViTブロック

　　4. 音声認識への応用
　　　4.1 Conformerブロック
　　　4.2 相対位置埋め込み