EPISODE · Mar 18, 2024 · 4 MIN
马斯克开源3140亿参数大模型 Grok-1
from 猿来如此
马斯克旗下的xAI团队开源了3140亿参数的大模型 Grok-1，这是迄今为止参数量最大的开源语言模型。**Grok-1 简介**Grok-1 发布于 2024 年 3 月 18 日，由马斯克旗下的xAI团队开发，拥有3140亿参数，是目前开源的最大的语言模型。该模型采用了混合专家模型架构，并支持激活数据分布计算和8位数字精度量化。**Grok-1 的技术特点**- **参数量巨大:** 3140亿参数，是目前开源的最大的语言模型- **模型架构:** 混合专家模型架构，能够更有效地处理复杂任务- **性能优化:** 支持激活数据分布计算和8位数字精度量化，能够在保证性能的同时降低功耗- **序列长度:** 最大序列长度为8192，能够处理更长的上下文信息在小宇宙查看该单集文稿
Embed this episode
Ready to play
马斯克开源3140亿参数大模型 Grok-1
0:00
4:38
1×
No transcript for this episode yet
Similar Episodes
No similar episodes found.
Similar Podcasts
No similar podcasts found.
Frequently Asked Questions
How long is this episode of 猿来如此?
This episode is 4 minutes long.
When was this 猿来如此 episode published?
This episode was published on March 18, 2024.
Can I download this 猿来如此 episode?
Yes. Use the download control on the episode player to save the publisher-provided media file.
URL copied to clipboard!