fukabori.fm

技術などを深掘りして楽しむPodcastです。

56. 自然言語処理(NLP)の歴史、BERT w/ Takahiro Omi

2021年09月09日

MP3ファイルをダウンロード

内容紹介

近江さんをゲストに、自然言語処理(NLP)の歴史、RNN、LSTM、ELMo、Transformers、BERT などについて語っていただいたエピソードです。

出演者

iwashi
iwashi
Takahiro Omi
Takahiro Omi

話したネタ

  • BERTによる自然言語処理入門 ―Transformersを使った実践プログラミング―
  • 自然言語処理とは?
  • 自然言語処理の応用範囲は?
  • 機械翻訳、メールフィルタ、チャットボット
  • 自然言語処理はどのように発展してきたのか?
  • NN (ニューラルネットワーク) とは何か?
  • NN における大きなブレイクスルー
  • AlexNet
  • エンドツーエンド処理
  • Deep NN におけるディープとは?
  • 学習とは具体的にはどのような処理?
  • RNN (Recurrent Neural Network) とは?
  • RNN で解きたかった課題は何か?
  • RNN における処理イメージ
  • RNN の課題
  • LSTM (Long Short Term Memory)
  • LSTM の特徴、文脈考慮
  • NN への文章はどのように入力するのか?
  • 単語をベクトルで表現する
  • ELMo と LSTM との関連性は?
  • なぜ双方向の情報を使うのが効果的なのか?
  • セサミストリート
  • Transformers の登場
  • Self-Attention とは?
  • Self-Attention の計算効率利点
  • Attention と Transformer との関連性は?
  • BERT(Bidirectional Encoder Representations from Transformers) とは?
  • エンコーダとデコーダとは?
  • BERT の特徴とは?
  • BERTによるニュース記事の構造化:企業名抽出
  • 自然言語処理界隈はどのように進化していくのか?
  • GitHub Copilot
  • Recruit、ストックマーク株式会社