Episodes
-
OneRec-V2
该技术报告介绍了 OneRec-V2，这是一个用于推荐系统的工业级生成式框架，旨在解决其前身 OneRec-V1 的可扩展性和性能瓶颈。OneRec-V2 的主要创新在于采用了一种 Lazy Decoder-Only 架构，该架构通过消除传统编码器并简化交叉注意力机制，将计算需求降低了 90% 以上，从而实现了模型参数的有效扩展（最高可达 80 亿）。此外，该系统引入了基于 真实用户互动 的偏好对齐（Preference Alignment）机制，包括 Duration-Aware Reward Shaping 和 Gradient-Bounded Policy Optimization...
-
深度残差学习实现图像识别
这篇研究介绍了残差学习框架 (residual learning framework)，旨在解决训练极深神经网络时出现的优化难度和准确性退化问题 (degradation problem)。研究人员通过将网络层重构为学习相对于输入数据的残差函数 (residual functions)，而不是直接学习未引用的映射，极大地简化了训练过程。这种方法通过恒等快捷连接 (identity shortcut...
-
快手OneRec揭秘
he research introduces OneRec, a novel generative recommender system designed to unify the traditional multi-stage "retrieve-and-rank" process into a single, end-to-end generative model. This unified approach, implemented with an encoder-decoder architecture and a sparse Mixture-of-Experts (MoE)...
-
AgentScope
AgentScope 1.0: A Developer-Centric Framework for BuildingAgentic Applications https://arxiv.org/pdf/2508.16279 前往小宇宙评论区与主播互动
-
openai 开源模型介绍
oai_gpt-oss_model_card.pdf 前往小宇宙评论区与主播互动
-
gpt-5 官方系统介绍
GPT-5 是一个统一的系统，包含一个智能且快速的模型，可回答大多数问题；一个用于处理更难题目的深度推理模型；以及一个实时路由器，它能根据对话类型、复杂程度、工具需求和明确意图（例如，如果你在提示词中说“仔细思考这个问题”）快速决定使用哪个模型。该路由器会根据实际信号持续进行训练，这些信号包括用户何时切换模型、对回复的偏好率以及衡量的正确率，随着时间推移不断改进。一旦达到使用限制，每个模型的迷你版本将处理剩余查询。在不久的将来，我们计划将这些功能整合到单个模型中。 GPT-5 System Card | OpenAI 前往小宇宙评论区与主播互动
-
Advances and Challenges in Foundation Agents v2
基础代理的设计和运作，这是一种受人类认知启发的先进人工智能系统。它详细阐述了代理的核心组成部分，包括世界模型（用于预测环境）、记忆系统（用于存储和检索信息）、奖励机制（用于引导学习和决策）以及感知和行动模块（用于与环境互动）。此外，文本还讨论了多代理系统中的协作、优化和自我演化，并重点关注了人工智能安全方面的挑战和解决方案，例如防止越狱和数据泄露。 arxiv.org 前往小宇宙评论区与主播互动
-
Qwen3
Qwen3，Qwen模型家族的最新版本，该系列大型语言模型旨在提升性能、效率和多语言能力。Qwen3系列包含参数规模从0.6到2350亿的密集型和MoE（混合专家）架构模型。Qwen3的关键创新在于将思考模式（用于复杂、多步骤推理）和非思考模式（用于快速、上下文驱动的响应）整合到一个统一框架中，并引入了思考预算机制，允许用户在推理过程中自适应分配计算资源。通过利用旗舰模型的知识，Qwen3显著降低了构建小型模型所需的计算资源，同时确保了其极具竞争力的性能。实证评估表明，Qwen3在各种基准测试中均达到了最先进的水平，并将其多语言支持从29种扩展到119种语言和方言。 2505.09388...
-
Kimi K2
Kimi K2，这是一个拥有 1.04 万亿参数的混合专家（MoE）大型语言模型，其中 320 亿参数处于激活状态。报告详细阐述了其预训练阶段采用的 MuonClip 优化器，该优化器结合了 Muon 的效率与 QK-clip 的稳定性，使得模型在 15.5 万亿个 token上实现了无损失尖峰的训练。此外，报告还强调了 Kimi K2 通过大规模 Agentic 数据合成和 强化学习进行后训练，显著提升了其在 软件工程和代理任务方面的能力。性能评估显示，Kimi K2 在多项基准测试中达到了最先进的水平，尤其是在代理能力方面表现突出，并已发布模型检查点以促进相关研究。 Kimi K2:...
-
反射、重试、奖励：LLM自提升
本研究介绍了一种名为“反思、重试、奖励”的创新方法，旨在通过强化学习提升大型语言模型（LLM）的性能。当模型首次未能完成任务时，它会生成自我反思来分析错误，然后利用这些反思再次尝试。如果第二次尝试成功，模型会奖励那些促成成功的自我反思标记，从而鼓励未来更有效的反思。这种方法在函数调用和数学方程编写等复杂任务中展现出显著的性能提升，甚至使小型模型超越了规模大十倍的未经训练的模型，同时最大限度地减少了灾难性遗忘。 前往小宇宙评论区与主播互动
-
图检索增强生成（GraphRAG）
这篇学术文章对图检索增强生成（GraphRAG）进行了全面的概述，这是一种通过整合图结构数据来增强下游任务执行的强大技术。文章详细阐述了一个整体的GraphRAG框架，该框架由查询处理器、检索器、组织器、生成器和图数据源五个关键组成部分构成。它还根据知识图谱、文档图谱、科学图谱和社交图谱等不同领域，考察了GraphRAG的特定设计和应用，讨论了现有挑战和未来的研究方向。文章还提到了在各个领域中构建图的方法，以及GraphRAG在问答、推荐系统和分子生成等方面的应用。 arxiv.org 前往小宇宙评论区与主播互动
-
Qwen2.5-Coder系列模型
这份资料介绍了Qwen2.5-Coder系列模型，这是CodeQwen1.5的重大升级版。该系列包含六种不同大小的模型（0.5B到32B），专门为代码相关任务设计，但同时保留了通用和数学能力。这些模型通过精细的数据清洗、可扩展的合成数据生成以及平衡的数据混合进行预训练，数据量超过5.5万亿个token。评估结果显示，Qwen2.5-Coder在代码生成、补全、推理和修复等十多个基准测试中取得了最先进的性能，甚至超越了同等规模的更大模型。该模型的发布旨在推动代码智能领域的研究，并支持开发者在实际应用中广泛采用。arxiv.org 前往小宇宙评论区与主播互动
-
检索增强生成模型 (RAG)
这篇研究论文介绍了检索增强生成（RAG）模型，这是一种结合了预训练参数化和非参数化记忆的语言生成方法。该研究探索了两种RAG模型：RAG-Sequence和RAG-Token，它们通过神经检索器访问维基百科的密集向量索引作为非参数记忆，并使用预训练的序列到序列模型作为参数记忆。通过在各种知识密集型自然语言处理任务上进行微调和评估，包括开放域问答、抽象问答、问题生成和事实核查，研究表明RAG模型在多个基准测试中取得了最先进的结果，并且比纯参数化模型生成了更具体、多样和符合事实的语言。此外，该研究强调了可热插拔的非参数记忆的优势，允许轻松更新模型的知识，而无需再训练，并讨论了该方法的社会影响。ar…
more -
AutoCodeRover: Autonomous Program Improvement
https://arxiv.org/abs/2404.05427 在过去几十年中，研究人员在实现软件开发过程自动化方面取得了重大进展。大语言模型（LLMs）的最新进展对开发过程产生了重大影响，开发人员可以使用基于 LLM 的编程助手来实现自动编码。然而，除了编码之外，软件工程还涉及程序改进过程，特别是为了实现软件维护（如修复漏洞）和软件演进（如添加功能）。在本文中，我们提出了一种自动解决 GitHub 问题的方法，以自主实现程序改进。在我们名为 AutoCodeRover 的方法中，LLMs 与复杂的代码搜索功能相结合，最终实现程序修改或补丁。与人工智能研究人员和从业者最近提出的 LLM...
-
LLaMA: Open and Efficient Foundation Language Models
https://arxiv.org/abs/2302.13971 LLaMA，这是一组参数规模从 70 亿到 650 亿的基础语言模型。我们在数万亿个词元上训练模型，并表明仅使用公开可用的数据集就有可能训练出最先进的模型，而无需借助专有且无法获取的数据集。特别是，LLaMA-13B 在大多数基准测试中优于 GPT-3（1750 亿参数），LLaMA-65B 与最优秀的模型 Chinchilla-70B 和 PaLM-5400 亿参数相比也颇具竞争力 前往小宇宙评论区与主播互动
-
Scaling Laws for Neural Language Models
https://arxiv.org/abs/2001.08361 语言模型在交叉熵损失方面性能的实证缩放定律。损失与模型大小、数据集大小以及训练所用的计算量呈幂律关系，一些趋势跨越了七个以上数量级。诸如网络宽度或深度等其他架构细节在很宽的范围内影响极小。简单的方程控制着过拟合对模型/数据集大小的依赖关系，以及训练速度对模型大小的依赖关系。这些关系使我们能够确定固定计算预算的最优分配。更大的模型在样本效率上显著更高，因此，计算效率最优的训练方式是在相对适量的数据上训练非常大的模型，并在远未收敛时就停止训练。 前往小宇宙评论区与主播互动
-
Code Llama面向代码的开源基础模型
Code Llama，这是一系列基于 Llama 2 的代码大语言模型，在开源模型中具有领先的性能、填充能力、对大输入上下文的支持，以及针对编程任务的零样本指令跟随能力。我们提供多种类型以涵盖广泛的应用场景：基础模型（Code Llama）、Python 专用模型（Code Llama - Python），以及指令跟随模型（Code Llama - Instruct），每个模型分别有 70 亿、130 亿、340 亿和 700 亿参数。所有模型均在 1.6 万个词元的序列上进行训练，并且在长达 10 万个词元的输入上表现出改进。70 亿、130 亿和 700 亿参数的 Code…
more -
SWE-smith：为软件工程智能体扩展数据
尽管用于软件工程的语言模型（LM）最近取得了进展，但收集训练数据仍然是一个重大痛点。现有的数据集规模较小，最多只有来自 11 个或更少 GitHub 代码库的数千个训练实例。整理此类数据集的流程通常很复杂，需要数百小时的人力；配套的执行环境也会占用数 TB 的存储空间，严重限制了其可扩展性和可用性。为解决这一痛点，我们推出了 SWE-smith，这是一种用于大规模生成软件工程训练数据的全新流程。给定任何 Python 代码库，SWE-smith 会构建相应的执行环境，然后自动合成数百到数千个任务实例，这些实例会破坏代码库中现有的测试。利用 SWE-smith，我们创建了一个包含 5...
-
如何理解整个软件仓库?
这篇论文介绍了阿里巴巴的LingmaAgent，一种旨在通过深入理解整个软件仓库来自动化解决软件问题的新方法。它通过构建知识图谱来整合仓库信息，并利用蒙特卡洛树搜索（MCTS）来有效地探索和理解复杂的代码结构。LingmaAgent在解决GitHub问题方面表现出显著的改进，并在阿里巴巴的内部部署中展现出强大的能力，可以自动修复或在人工干预下解决大量问题。此外，该论文还开源了LingmaAgent的Python原型，以供其他开发者参考。 https://arxiv.org/pdf/2406.01422 前往小宇宙评论区与主播互动
-
deepseek r1
http://arxiv.org/abs/2501.12948 该论文介绍了DeepSeek-AI团队研发的DeepSeek-R1模型，这是一款旨在提高大型语言模型推理能力的新模型。 论文首先展示了通过纯粹强化学习训练的DeepSeek-R1-Zero，它展现出强大的推理能力但存在可读性等问题。 为解决这些不足并进一步提升性能，团队引入了DeepSeek-R1，该模型结合了多阶段训练和冷启动数据，并在推理任务上取得了与OpenAI-o1-1217相当的表现。...
-
deepseek v3
本篇论文介绍了DeepSeek-V3，一个拥有6710亿参数的庞大混合专家（MoE）语言模型。文章详细阐述了其架构创新，特别是无需辅助损失的负载均衡策略和多令牌预测目标，旨在提高训练效率和模型性能。此外，文中也探讨了DeepSeek-V3训练基础设施的优化，包括计算集群、低精度训练技术和内存节省策略。论文还介绍了预训练和后期训练的细节，包括数据构建、长上下文扩展以及在多种基准测试上的评估结果。文章最后讨论了模型的局限性并对未来硬件设计提出了建议，强调了DeepSeek-V3在成本效益和性能方面的优势，尤其在编码和数学任务上表现突出，同时承认了其部署方面的挑战。...
-
GPT-4 技术报告
OpenAI关于大型多模态模型 GPT-4 的技术报告。报告描述了GPT-4的开发过程及其在 专业和学术基准测试 上的表现，展示了它在多项考试中达到人类水平甚至超越人类的表现。同时，报告深入探讨了GPT-4的 能力和局限性，包括处理图像和文本输入、多语言能力、以及 潜在的安全风险（如产生有害内容、幻觉和偏差）。文件还详细阐述了为 提升安全性 所采取的缓解措施，并强调需要进一步研究以应对新兴风险和确保负责任的AI发展。 http://arxiv.org/abs/2303.08774 前往小宇宙评论区与主播互动
-
21世纪引用最多的论文Deep Residual Learning for Image Recognition
这份研究提出了残差学习框架来解决深度神经网络难以训练的问题，特别是随着网络深度增加出现的性能下降。研究者通过重构层为学习残差函数而不是直接学习目标映射，显著简化了极深网络的优化过程。他们在ImageNet数据集上验证了该方法的有效性，成功训练了深度达到152层的网络，并在2015年的ImageNet分类任务中取得了第一名。此外，残差网络在CIFAR-10数据集上也展现了优越性能，并被应用于物体检测和定位等任务，在多项比赛中获得冠军，表明其原理具有通用性。 http://arxiv.org/abs/1512.03385 前往小宇宙评论区与主播互动
-
BERT：深度双向 Transformer 语言理解预训练
BERT 的独特之处在于它能够通过同时考虑左右上下文来学习文本的双向表示。这与之前只关注单向上下文的模型不同。通过对无标注文本进行预训练，BERT 可以轻松地针对各种下游任务进行微调，例如问答和自然语言推理，而无需进行大量的模型修改。作者展示了 BERT 在多项自然语言处理任务中取得了显著的改进，强调了双向预训练和模型大小的重要性。论文还探讨了使用 BERT 进行微调和基于特征的方法之间的权衡。 http://arxiv.org/abs/1810.04805 前往小宇宙评论区与主播互动
-
gpt3.5 paper
Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we...
-
gpt3 精读Language Models are Few-Shot Learners 语言模型是少样本学习者
Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens…
more -
Reflexion：基于言语强化学习的语言智能体
Large language models (LLMs) have been increasingly used to interact with external environments (e.g., games, compilers, APIs) as goal-driven agents. However, it remains challenging for these language agents to quickly and efficiently learn from trial-and-error as traditional reinforcement…
more -
google jules/openai codex/github copilot code agents 对比
Google Labs 推出的 Jules、GitHub Copilot 的新编码智能体功能（下文简称 GitHub Copilot Agent）以及 OpenAI 发布的 Codex Agent 前往小宇宙评论区与主播互动
-
大型语言模型（LLMs）赋能的软件工程代理的综合性调查arXiv:2409.02977 [cs]
关于大型语言模型（LLMs）赋能的软件工程代理的综合性调查报告。文章深入探讨了基于LLM的代理在软件工程（SE）领域的应用，强调了它们通过感知和利用外部资源和工具增强了LLMs的能力。通过对106篇论文的分析，研究将现有工作分为SE和代理两个视角进行讨论，涵盖了从需求工程到代码生成、测试和维护等各种SE任务。此外，文章还讨论了代理系统的核心组成部分，包括规划、记忆、感知和行动，并分析了多代理系统和人与代理协作的不同形式。最后，文章指出了该领域的开放挑战和未来研究方向，例如改进评估方法和探索更多样的感知模式 https://arxiv.org/abs/2409.02977...
-
大语言模型在字节跳动oncall工单升级中的应用
tickIt 的创新框架，该框架利用 大型语言模型 来自动化和改进 云服务系统中客户支持工单的升级流程。它解决了手动升级的低效性和现有机器学习模型的局限性，通过 动态更新工单状态、基于主题进行准确路由 以及 识别工单之间的关系 来增强升级过程。该系统已在 火山引擎 平台部署，并证明了其在提高工单升级的 准确性和效率 方面的有效性，标志着该领域的重要进步。 https://arxiv.org/abs/2501.15134 前往小宇宙评论区与主播互动
-
字节跳动 BitsAI-CR 自动化CodeReview
探讨了BitsAI-CR，一个利用大型语言模型（LLMs）来改善软件开发中耗时且重要的代码审查流程的系统。该系统采用两阶段方法，首先由 RuleChecker 识别潜在问题，然后由 ReviewFilter 验证以确保准确性。通过一个基于全面的审查规则分类的数据飞轮机制，BitsAI-CR 得以持续优化。作者引入了过时率指标来衡量开发者对评论的接受度，并在字节跳动的大规模部署中验证了其有效性，证明了自动化代码审查在实际应用中的潜力。 论文 https://arxiv.org/abs/2501.15134 前往小宇宙评论区与主播互动
-
GPT3:Language Models are Few-Shot Learners
语言模型是少样本学习者”。 该研究由Tom B. Brown和30位其他作者撰写，并于2020年5月28日首次提交，并于2020年7月22日修订至第4版。 论文主要探讨了大型语言模型GPT-3在仅提供少量示例的情况下执行各种自然语言处理任务的能力。 它详细介绍了GPT-3在翻译、问答和算术等任务上的表现，并指出了其不足之处以及可能存在的方法论问题。 此外，论文还讨论了GPT-3生成新闻文章难以与人类作品区分的发现，并探讨了其社会影响。 https://arxiv.org/pdf/2005.14165 前往小宇宙评论区与主播互动
-
无监督多任务学习的语言模型 gpt2
语言模型是无监督多任务学习者，介绍了通过在大量网页数据上训练一个大型语言模型（GPT-2）来实现零样本任务迁移的创新方法。研究表明，仅仅通过预测文本序列的下一个词，模型就能在不进行特定任务监督训练的情况下，在诸如阅读理解、摘要和问答等各种自然语言处理任务上展现出令人惊讶的能力。模型参数量的增加与性能的提升呈对数线性关系，这表明模型容量对于实现成功的零样本学习至关重要。虽然在某些任务上的表现仍有不足，但这项研究为构建更通用的自然语言处理系统提供了一个新的方向，这些系统可以从自然语言中直接学习任务。...
-
MetaGPT大型语言模型 (LLMs) 的多智能体系统
介绍了一篇名为 "MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework" 的研究论文。该论文探讨了大型语言模型 (LLMs) 的多智能体系统在解决复杂任务时遇到的挑战，特别是由于链式应用 LLMs 造成的逻辑不一致和幻觉问题。研究人员提出了一种名为 MetaGPT 的新型元编程框架，它通过将人类工作流程融入多智能体协作来提高效率。MetaGPT 采用标准化操作流程 (SOPs)...
-
提高语言理解能力的生成式预训练gpt1
improving language understanding by generative pre-training 首次提出了GPT（Generative Pre-trained Transformer）方法：使用Transformer构建大型自回归语言模型，在海量无标签文本上进行生成式预训练，然后通过最小量的结构修改对各下游任务进行微调。该两阶段方法在多个语言理解基准上表现优异，在12个任务中有9项超越此前最优结果...
-
Attention Is All You Need 注意力就是你所需要的一切arXiv:1706.03762v7
The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the...
We're indexing this podcast's transcripts for the first time — this can take a minute or two. We'll show results as soon as they're ready.
No matches for "" in this podcast's transcripts.
No topics indexed yet for this podcast.
Loading reviews...
Loading similar podcasts...
Frequently Asked Questions
How many episodes does 大模型论文天天读 have?
大模型论文天天读 currently has 36 episodes available on PodParley. New episodes are automatically indexed when they're published to the podcast feed.
What is 大模型论文天天读 about?
notebooklm 助读大模型论文
How often does 大模型论文天天读 release new episodes?
大模型论文天天读 has 36 episodes. Check the episode list to see recent publication dates and frequency.
Where can I listen to 大模型论文天天读?
You can listen to 大模型论文天天读 on PodParley by clicking any episode. We provide an embedded audio player for direct listening, and you can also subscribe via your preferred podcast app using the RSS feed.
Who hosts 大模型论文天天读?
大模型论文天天读 is created and hosted by AI008.
URL copied to clipboard!