EPISODE · Nov 14, 2023 · 38 MIN
107. LLMをゼロから作るということ w/ Takahiro Omi
from fukabori.fm
ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。 話したネタ どのような大規模言語モデルと作ったのか？特徴は何か？ データセットに何を使ったのか？ 日本語と英語とのバランスは？ 最終的なToken数は？ 事前学習モデルを作りたいとして、何から考えるのか？ ノイズのクリーニングと、その方法 今回活用したモデルアーキテクチャ(Llama) 前回のアーキテクチャは GPT-NeoX 今回の学習環境は？ AWS Trainum 32コア x 16ノード 学習にかかった時間は？ 学習時に大変だったこと・上手くいかなかったことは？ 学習中のチェックポイントとは何か？ なぜ、Token生成が速いのか？ 手元でLLMを動かすときの一番のネックは？ bit数を落とすFineTuning Tokenizerとは何か？ 日本語の単語区切りはどのように考えるのか？ 今回のLLM作成のTokenizerは何を使ったのか？ ビジネスドメインでのLLM評価 ストックマーク株式会社のRecruitページ See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
Embed this episode
What this episode covers
ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。話したネタどのような大規模言語モデルと作ったのか？特徴は何か？データセットに何を使ったのか？日本語と英語とのバランスは？最終的なToken数は？事前学習モデルを作りたいとして、何から考えるのか？ノイズのクリーニングと、その方法今回活用したモデルアーキテクチャ(Llama)前回のアーキテクチャは GPT-NeoX今回の学習環境は？AWS Trainum 32コア x 16ノード学習にかかった時間は？学習時に大変だったこと・上手くいかなかったことは？学習中のチェックポイントとは何か？なぜ、Token生成が速いのか？手元でLLMを動かすときの一番のネックは？bit数を落とすFineTuningTokenizerとは何か？日本語の単語区切りはどのように考えるのか？今回のLLM作成のTokenizerは何を使ったのか？ビジネスドメインでのLLM評価ストックマーク株式会社のRecruitページ See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
Ready to play
107. LLMをゼロから作るということ w/ Takahiro Omi
No transcript for this episode yet
Similar Episodes
No similar episodes found.
Similar Podcasts
No similar podcasts found.