【Transformer誕生の舞台裏】ChatGPTの起源『Attention Is All You Need』

今回はTransformer論文『Attention Is All You Need』誕生のバックストーリーについて話しました。【目次】(00:00) 今回のテーマ(00:29) Transformerとは(01:15) Transformer論文の8人の著者(11:17) self-attentionの発案(13:14) self-attentionをGPUでスケーリング(17:38) Transformerの汎用性を発見(20:05) 『Attention Is All You Need』論文の発表\(20:58) Googleのイノベーションのジレンマ(22:06) 次回予告▼ 伊藤 (NanoHuman) が運営中のサービスSuperIntern: 会議を起点に仕事を自動化するAIエージェントhttps://super-intern.com/ja/?utm_source=youtube&utm_medium=social&utm_campaign=kigyorireki_description&utm_content=link【起業の履歴書について】起業の履歴書は「AI 🤖」と「スタートアップ 💻」について大袈裟に話すチャンネルです。ホスト2人の仕事や大学時代について話してる自己紹介動画です。パーソナリティに興味を持ってくださった方はぜひ！https://www.youtube.com/watch?v=3EKSaVEQFuU＜ホスト＞・East Ventures 村上雄也 - https://twitter.com/yu8muraka3・NanoHuman 伊藤工太郎 - https://twitter.com/etaroid＜Podcast＞Spotify - https://open.spotify.com/show/5ryodBEEOn66Wk7H2Sl8zFApple - https://podcasts.apple.com/jp/podcast/kigyo-no-rirekisho/id1767313170【参考文献】- https://arxiv.org/abs/1706.03762- https://amzn.asia/d/05qSPxfq- https://amzn.asia/d/0fQgmpjB- https://www.youtube.com/watch?v=3K-R4yVjJfU- https://www.youtube.com/watch?v=_sbFi5gGdRA- https://www.youtube.com/watch?v=ayBOXv_SFCY- https://www.youtube.com/watch?v=GqWw8-TdjXU- https://www.youtube.com/watch?v=DtePicx_kFY- https://www.youtube.com/watch?v=ACC7c5DYVb4- https://www.youtube.com/watch?v=aMB8JWgejIw- https://www.youtube.com/watch?v=QobSLFtBhjg- https://www.youtube.com/watch?v=SGQysDdJUHg- https://www.youtube.com/watch?v=wrdiigyw7gA- https://www.youtube.com/watch?v=Q4_YTXhq7no- https://www.youtube.com/watch?v=v0gjI__RyCY【お問い合わせ】起業の相談やお仕事の依頼は「下記お問い合わせフォーム 📋」または「上記XアカウントのDM 📮」にお送りください！https://forms.gle/hYZojSEgvqis8Pys5取り扱って欲しいテーマのリクエストなどもお待ちしております！