Transformer 徹底解説
~Transformerの仕組みから
自然言語処理、画像処理、音声認識への最新応用まで~
S211028NW
本セミナーは Zoom を使用いたします。
開催日時:2021年12月16日(木) 10:30-16:30 (10:25受付開始)
受 講 料:お1人様受講の場合 51,700円[税込] / 1名
1口でお申込の場合 62,700円[税込] / 1口(3名まで受講可能)
※ テキストは2日前を目安に、PDFファイルをダウンロードできるようにする予定です。
近年、「Transformer」という深層学習モデルが、自然言語処理や画像処理、音声処理
といった様々な分野の多くのタスクで最高性能を達成し、注目を集めています。
本講座では、そのTransformerの典型的モデルの仕組みから、自然言語処理、画像処理、
音声認識に応用した最新モデルまでを解説します。ニューラルネットワークの基礎的な知
識をお持ちの方向けのセミナーです。
1. Transformerの仕組み
1.1 エンコーダ・デコーダモデル
1.2 アテンション機構
1.3 位置エンコーディング
2. 自然言語処理への応用(BERT)
2.1 事前学習とファインチューニング
2.2 マスク化言語モデル
2.3 次文予測
3. 画像処理への応用(ViT)
3.1 パッチ埋め込み
3.2 ViTブロック
4. 音声認識への応用(Conformer)
4.1 Conformerブロック
4.2 相対位置埋め込み