MP3ファイルをダウンロード

内容紹介

近江さんをゲストに、自然言語処理(NLP)の歴史、RNN、LSTM、ELMo、Transformers、BERT などについて語っていただいたエピソードです。

出演者

iwashi
Takahiro Omi

話したネタ

• BERTによる自然言語処理入門 ―Transformersを使った実践プログラミング―
• 自然言語処理とは？
• 自然言語処理の応用範囲は？
• 機械翻訳、メールフィルタ、チャットボット
• 自然言語処理はどのように発展してきたのか？
• NN (ニューラルネットワーク) とは何か？
• NN における大きなブレイクスルー
• AlexNet
• エンドツーエンド処理
• Deep NN におけるディープとは？
• 学習とは具体的にはどのような処理？
• RNN (Recurrent Neural Network) とは？
• RNN で解きたかった課題は何か？
• RNN における処理イメージ
• RNN の課題
• LSTM (Long Short Term Memory)
• LSTM の特徴、文脈考慮
• NN への文章はどのように入力するのか？
• 単語をベクトルで表現する
• ELMo と LSTM との関連性は？
• なぜ双方向の情報を使うのが効果的なのか？
• セサミストリート
• Transformers の登場
• Self-Attention とは？
• Self-Attention の計算効率利点
• Attention と Transformer との関連性は？
• BERT(Bidirectional Encoder Representations from Transformers) とは？
• エンコーダとデコーダとは？
• BERT の特徴とは？
• BERTによるニュース記事の構造化：企業名抽出
• 自然言語処理界隈はどのように進化していくのか？
• GitHub Copilot
• Recruit、ストックマーク株式会社