PODCAST · technology
Leading NLP Ninja
by jojonki
Leading NLP Ninjaでは最近のNLP (Natural Language Processing)に関連する論文をjojonkiが短く紹介します.気になったこと・質問・間違い等,フィードバック頂けると嬉しいです.紹介する論文は,基本的に下記の論文まとめから取り上げる予定です.https://github.com/jojonki/arXivNotes/issues
Episodes
-
ep52(ACL): A Two-Stage Masked LM Method for Term Set Expansion
Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/409 サポーターの方も募集中です. https://www.patreon.com/jojonki
-
ep51 (arXiv): XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization
CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました.Cross-lingualな評価にとても良さそうです. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/400 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep50 (ICLR): ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators
ICLR 2020より,Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/391 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep49 (ICASSP): Looking Enhances Listening: Recovering Missing Speech Using Images
ICASSP 2020より,ビジュアル情報を利用し,マスクされた音声信号を復元できるマルチモーダルASRを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/384 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep48 (AAAI): Emu: Enhancing Multilingual Sentence Embeddings with Semantic Specialization
AAAI 2020より,多言語文埋め込みフレームワークEMUを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/371 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep47 (ICLR): ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
ICLR 2020より,factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/348 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep46: FreeLB: Enhanced Adversarial Training for Language Understanding
ICLR 2020より,BERT/RoBERTaの埋め込み空間に,敵対摂動を入れるVirtual Adversarial Trainingによって,モデル性能を改善するFreeLBという手法を解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/347 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep45: Episodic Memory in Lifelong Language Learning
NeurIPS 2019よりDeepMindが発表した,様々な異なるタスク(テキスト分類とQA)のデータセットをepisodic memoryを利用して1モデルで学習できる手法を解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/326 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep44: 75 Languages, 1 Model: Parsing Universal Dependencies Universally
第44回では,多言語で事前学習されたBERTを用いて,多言語でUniversal Dependenciesのタスクを解くモデルを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/322 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep43: BPE-Dropout: Simple and Effective Subword Regularization
第43回では,Byte Pair Encodingを用いたサブワード正則化手法,BPE-dropoutを解説しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/302 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep42: HuggingFace's Transformers: State-of-the-art Natural Language Processing
第42回では,HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/295 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep41: A Simple Theoretical Model of Importance for Summarization
第41回では,ACL 2019より要約タスクにおける"重要性"をモデル化して,Outstanding Paperを獲得した論文を説明しました. 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/290 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep40: OpenDialKG: Explainable Conversational Reasoning with Attention-based Walks over Knowledge Graphs
第40回では,ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました 今回紹介した記事はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/287 サポーターも募集中です. https://www.patreon.com/jojonki
-
ep39: Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
第39回では,ACL 2019 NLP for Conversational AIのBest Paperから,対話応答生成タスクにおいて,対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/283
-
ep38: Trends in Natural Language Processing: ACL 2019 In Review
第38回では,Amazonの方のACL 2019の参加レポートを解説しました 今回紹介した記事はこちらのissueで解説しています. github.com/jojonki/AI-Post-Notes/issues/2 Podcastのなかで紹介したarxivのメタ情報を簡単にコピペするChrome拡張 https://chrome.google.com/webstore/detail/arxiv-clip/enkadffnndphdjnpjamejdjlcbkkbpmp サポーターも募集中です. https://www.patreon.com/jojonki
-
ep37: Multimodal Transformer Networks for End-to-End Video-Grounded Dialogue Systems
第37回では,ACL 2019から,ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/272 サポーターも募集中です. www.patreon.com/jojonki
-
ep36: A Survey of Reinforcement Learning Informed by Natural Language
第36回では,IJCAI 2019から,自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/267
-
ep35: Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
第35回では,ACL 2019から,階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/261
-
ep34: Do Neural Dialog Systems Use the Conversation History Effectively?
第34回では,ACL 2019から,ニューラル対話生成モデルが,対話履歴を効果的に活用しているか調査した論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/254 番組への支援は,こちらからお待ちしております.
-
ep33: Target-Guided Open-Domain Conversation
第33回では,ACL 2019から,目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/242 番組への支援は,こちらからお待ちしております.
-
ep32: We need to talk about standard splits
github上でご指摘いただきましたが,実験2のReproductionのシステムの優劣を完全に逆にして説明していることが判明しました.issueのコメント欄を御覧ください.他にも怪しくなってきた気がするのでお気付きの方はどんどんコメント頂けると嬉しいです。 第32回では,ACL 2019から,標準的なデータセットのsplitに起因するシステム比較手法の危険性を示す論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/241 番組への支援は,こちらからお待ちしております.
-
ep31: CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
第30回では,NAACLのBest Short Paperに選ばれた,マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/229 番組への支援は,こちらからお待ちしております.
-
ep30: Probing the Need for Visual Context in Multimodal Machine Translation
第30回では,NAACLのBest Short Paperに選ばれた,マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/228 番組への支援は,こちらからお待ちしております.
-
ep29: What's in a Name? Reducing Bias in Bios without Access to Protected Attributes
第29回では,NAACLのBest Thematic Paperに選ばれた,学習データに含まれるバイアスを軽減させる手法を紹介しました.名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/226
-
ep28: Attention is not Explanation
第28回では,NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/221
-
ep27: 今年度の振り返りとこれからについて
第27回では,2018年度の振り返りの特別回として,アンケート結果の共有,NLPのおすすめ勉強方法と教材,論文の読み方,期末の振り返りと今後について話しました. アンケートの振り返り NLPの勉強の仕方,論文の読み方 今期,来期のはなし 紹介した書籍やサイト 自然言語処理の基本と技術 Graham Neubig先生のNLPプログラミングチュートリアル 言語処理のための機械学習入門 番組への支援は,こちらからお待ちしております.
-
ep26: 大規模な自動解析データが形態素解析器をどこまで小さくできるか
第26回では,NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました. 今回紹介した論文は予稿集が公開され次第,issueを公開にします 現在視聴者の方へのアンケートを実施しているので,数分で終わりますのでぜひご協力ください. 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep25: サブワードに基づく単語分散表現の縮約モデリング
第25回では,NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました. 今回紹介した論文は予稿集が公開され次第,issueを公開にします 現在視聴者の方へのアンケートを実施しているので,数分で終わりますのでぜひご協力ください. 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep24: BERT for Joint Intent Classification and Slot Filling
第24回では,BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/210 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep23: End-to-End Knowledge-Routed Relational Dialogue System for Automatic Diagnosis
第23回では,患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/206 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep22: What are the biases in my data?
第22回では,Microsoft Research Blogで解説された差別的バイアスの発見と分析に記事を解説しました.github.com/jojonki/AI-Post-Notes/issues/1 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep21: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
第21回では,Googleによる双方向コンテキストを獲得した言語モデルBERTの解説をしました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/199 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep20: Comprehensive evaluation of statistical speech waveform synthesis
第20回では,Amazonが行った音声合成の知覚評価に関する論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/194 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep19: SentencePiece: A simple and language independent subword tokenizer and detokenizer for NLP
第19回では,Googleが開発したサブワードによるTokenizer/DetokenizerであるSentencePieceを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/186 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep18: PyText: A Seamless Path from NLP research to production
ep18: PyText: A Seamless Path from NLP research to production 第18回では,FacebookによるNLPのモデル化のためのフレームワーク,PyTextを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/179 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki 今年もよろしくおねがいします!
-
ep17: User Modeling for Task Oriented Dialogues
第17回では,Googleによるタスク指向対話におけるユーザーシミュレーターの論文について解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/180 番組への支援は,こちらからお待ちしております.www.patreon.com/jojonki
-
ep16: Contextual Topic Modeling For Dialog Systems
第16回では,Amazonによるコンテキストを利用したトピック分類のモデルについて解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/162 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
-
ep15: Another Diversity-Promoting Objective Function for Neural Dialogue Generation
第15回では,AAAI 2019 Deep Dialに採択された,ニューラル対話生成モデルの論文を解説しました.あのりょぼっとさんの論文でして恐縮しながら解説しました. 今回紹介した論文はこちらのissueで解説しています.理解が及ばず説明が曖昧な個所がありましたが,りょぼっとさん本人にissueで細くコメントもらっていますので是非見てみてください. github.com/jojonki/arXivNotes/issues/159 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
-
ep14: XNLI: Evaluating Cross-lingual Sentence Representations
第14回では,Facebook AI Researchによる多言語におけるNLIタスクの評価データセット及び多言語NLIにおけるベースラインを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/155 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
-
ep13: You May Not Need Attention
第13回では,アテンションを使わず,エンコーダー・デコーダーを統合した,機械翻訳モデルの手法を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/148 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
-
ep12: Word Embedding based Edit Distance
第12回では,単語埋め込みを利用した編集距離を利用して,文の類似度を計算する手法を解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/145 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
-
ep11: Query Tracking for E-commerce Conversational Search: A Machine Comprehension Perspective
第11回では,CIKMでAlibabaが発表した,Eコーマスの検索を対話的に行う対話検索のモデルをを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/139 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
-
ep10: Automatic Evaluation of Neural Personality-based Chatbots
第10回では,対話応答生成モデルが,個性を反映した応答を生成出来ているかを,自動評価する手法を提案したモデルを解説しました. 今回紹介した論文はこちらのissueで解説しています. github.com/jojonki/arXivNotes/issues/138 番組への支援は,こちらからお待ちしております. www.patreon.com/jojonki
-
ep9: Learning and Evaluating Sparse Interpretable Sentence Embeddings
第9回では,文ベクトルをスパース化することで解釈性を与えることが出来ないか,という問題に挑戦した論文を解説しました. 今回紹介した論文はこちらのissueで解説しています. https://github.com/jojonki/arXivNotes/issues/137 番組への支援は,こちらからお待ちしております. https://www.patreon.com/jojonki
-
ep8: Zero-Shot Adaptive Transfer for Conversational Language Understanding
第8回では,Microsoftのスロットタギングの論文を解説しました. 今回紹介した論文の解説はこちらにあります.https://github.com/jojonki/arXivNotes/issues/128 前々回のエピソードを予め聞いておくと,今回の内容は分かりやすいかもしれません. https://anchor.fm/lnlp-ninja/episodes/ep6-Bag-of-Experts-Architectures-for-Model-Reuse-in-Conversational-Language-Understanding-e24tuf
-
ep7: Training Millions of Personalized Dialogue Agents
第7回では,EMNLP 2018でFacebookが開発したペルソナデータセット及びそのペルソナに沿ったEnd-to-end雑談対話システムを解説しました. 今回紹介した論文の解説はこちらにあります.https://github.com/jojonki/arXivNotes/issues/130
-
ep6: Bag of Experts Architectures for Model Reuse in Conversational Language Understanding
第6回では,NAACL-HLT 2018より,Microsoftのスロットタギングの論文を紹介しました. 今回紹介した論文の解説はこちらにあります. https://github.com/jojonki/arXivNotes/issues/129
-
ep5: Analysing the potential of seq-to-seq models for incremental interpretation in task-oriented dialogue
第5回では,EMNLP2018から対話における非流暢性がSeq2Seqに及ぼす影響を調べた論文を紹介しました. https://github.com/jojonki/arXivNotes/issues/125
-
ep4: CoQA: A Conversational Question Answering Challeng
第4回では,スタンフォード大から公開された対話的なQAのコーパスの論文を説明しました. https://github.com/jojonki/arXivNotes/issues/124
-
ep3: Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing
第3回ではACL 2018からBelief Trackingに関する論文を説明しました. 今回紹介した論文のまとめ github.com/jojonki/arXivNotes/issues/107
We're indexing this podcast's transcripts for the first time — this can take a minute or two. We'll show results as soon as they're ready.
No matches for "" in this podcast's transcripts.
TOPICS IN THIS SHOW
Loading reviews...
ABOUT THIS SHOW
Leading NLP Ninjaでは最近のNLP (Natural Language Processing)に関連する論文をjojonkiが短く紹介します.気になったこと・質問・間違い等,フィードバック頂けると嬉しいです.紹介する論文は,基本的に下記の論文まとめから取り上げる予定です.https://github.com/jojonki/arXivNotes/issues
HOSTED BY
jojonki
CATEGORIES
Loading similar podcasts...