由|有一组SOHU技术|编辑Liang Changjun |杨金（Yang Jin）在发布新一代代理模型（月球的黑暗部分）不到一个月后，最近推出了最新的码头模型Kimi K2。这是一个主要的MOE架构模型，具有更强的代码功能，并且在代理商的一般活动中更好。参数高达1T，也是1万亿，激活参数为32B。目前，它是世界上世界上罕见的模型之一，它也是向外界开放的万亿级参数的唯一模型。它表明月球的黑暗部分已经停止，并且将恢复大型模型训练的技术途径。克劳德（Claude）的国内平坦替代月球。 Kimi-k2基碱不适当地专注于指导，适合科学研究和定制情况； Kimi-K2-Instruct是经过培训的一般对话和智能模型，可以在没有L的情况下实现快速响应ONG期间的思维。根据官方评论，Kimi K2在三种基本技能的基准性能测试中取得了出色的性能，包括编码代理，工具使用和数学推理。在经过验证的SWE板凳等编程和代理测试中，Kimi K2的性能要比DeepSeek-V3-0324，Qwen3-235b，GPT-4.1，仅在Claude 4 Opus中的模型更好，而在LiveCode Bench v6和Ojb enchem上，它通过了所有最新模型和最新模型的Google模型和最新模型。扩展全文 为了测试Tau2 Andacebench之类的工具调用，Kimi K2排名六个比较模型中的第二个，包括她自己，前者仅次于Claude 4 Opus，而后者则不如GPT-4.1好。在检查科学和复杂的科学问题（例如Aime 2025和GPAQ-辅助）时，Kimi K2超过了其他5个比较模型，取得了最佳结果。 因为这是一个不是推论的模型，所以评论未与评估模型进行比较如DeepSeek-R1和O3。通常，Kimi K2进入了开源营的第一个梯队，该坎普超过了DeepSeek和Alibaba的开源模型，并靠近领先的海外资源模型，并且在代码，代理和数学活动中表现出了出色的功能。 例如，在最初的开发活动中，Kimi K2在开发具有相同设计和视觉表达的代码方面非常出色，支持谷物系统，3D和其他表达式中的纪念和场景以及强大的图形和接触能力。 “从Claude 3.5十四行诗+开始，在AI面前写作的层面已经达到了实用的水平。从那时起，几乎所有的新车型都将表现出他们编写前端的能力。KiangMi k2当然不能免疫加值。”参加Kimi K2的开发项目的黑暗边工程师Justin Wong说。 经历了经验之后，一些开发人员认为Kimi K2的性能在Claude 3.5和Claude 4之间，而UI一代很棒，而且成本IS Claude 3.5只有20％。 “对于大多数编码代理来说，这足够好，更易于管理。” 有些人认为，预计Kimi K2将成为克劳德（Claude）的国内。美国大型模型拟人化推出的克劳德模型被认为是在AI行业编码的国王。由于其出色的表现，它已成为许多开发人员和应用企业家的首选。许多代理产品（例如Manus）都是基于Claude建造的。 American AI搜索独角兽困惑AI的首席执行官Aravind Srinivas发表了一篇文章，说《月球黑暗部分的新模型》是“令人难以置信的”，并说内部评论看起来不错，因此它可以尽快从培训开始。 该模型最多支持128K上下文，并提高了时尚的写作能力。月球的黑暗部分指出，如果它重写了有关初中学生语气的科学研究中的文本，或模仿苹果的广告副本，则可以维护MEA的原始风格宁和表达。 Kimi K2是Bukas，一旦发布后，Bukas就是一个来源，同一Deptseek采用了MIT开源协议，这意味着将选择月球的黑暗部分加入开源营地。 “我们希望通过具有更强的开放资源性能的模型进一步加速AGI研究和应用程序实施的总体过程。” 贾斯汀·王（Justin Wong）解释说，选择开放资源当然是首先要做的声誉。 “如果这是一项封闭式服务，现在肯定没有太多关注和讨论。它可能就像Grok4一样，但是它需要带来很多残酷的责任。” 其次，我们可以利用许多社区的力量来改善技术的生态。但更重要的是，开放资源意味着更高的技术标准，这将迫使我们制定更好的模型，并更符合AGI目标。 “当开放资源要求您不采取快捷方式时，它会更加普遍贾斯汀·王（Justin Wong）说：“ Asant创建更好的模型和产品。 值得注意的是，先前宣布将发布开放资源模型的OpenAI可能会因此而推迟。 Ultraman表示，开放资源模型最初计划在本周发布，但由于进一步的安全测试和检查而被推迟。 Yang Zhilin在河上握住河流，不想去纸牌桌 根据月亮黑暗面目前发布的博客技术，Kimi K2性能的改进主要是由于对这三个方面的技术探索。 首先，预训练的算法变化。月球的黑暗面表明，kimik2在训练阶段使用了创新的智能优化器，从而在15.5T代币数据集中对数万亿参数模型进行了稳定，有效的训练。 它使传统模型使用的Adam Optimizer在大规模上使用，而Kimi K2 Muon Optimizer使用Effec防止尖峰的损失，即尖峰现象的丧失。这主要发生在大型训练中，该模型的参数为10亿亿亿亿，通常会导致无法转换或练习失败的模型。 OpenAI的前首席科学家Ilya Sutskever表示，人类数据是一种有限的化石燃料，计算能力仍在增长，但数据达到了高潮。 因此，月球的黑暗部分认为，在高质量的人类数据的背景下，预瓶装的效率已成为AI缩放定律的新主要因素。 月亮的黑暗部分还揭示了Kimi K2采用了类似于DeepSeek-V3的建筑。许多开发人员还比较了这两个模型的结构，并发现它非常相似。例如，MLA结构（公牛的注意机制的潜在机制），在某些参数中，主要的头部是注意机制和教会专家的数量。 参与Kimi K2开发的黑暗部分的雇员Liu Shaowei说，在开始K2培训之前，进行了与模型结构有关的大量实验。结果是当时没有任何架构可以打败它，在大多数情况下，比赛是平等的。 “为什么我们要强制一个没有好处的结构，而是与DeepSeek不同？最终的答案是否定的。原因很简单：DeepSeek-V3的结构已被证明并且在大尺寸上仍然有效，而我们的新结构尚未进行大型验证。”因此，它已决定完全继承DeepSeek-V3结构。 考虑到背后的费用。 Liu Shaowei说，小公司的培训和推理来源有限。 DeepSeek-v3发起后，Yuezhi Daff Side认为培训和推理成本相对接近Curr可以授予的上限。 “因此，我们需要控制与Deptseek-V3相同水平的培训成本和认可。” 据了解，DeepSeek-V3培训成本为557.6万美元。培训过程使用2,048 H800 GPU，总共消耗了278.8万小时NG GPU，这主要是由于建筑和算法（例如MLA）（多种潜在的注意机制）的变化。 可以说，月亮的黑暗部分触及了整个河中的Depseek。但是，Kimi K2 API输入价格为4元/百万个令牌，产出为16元/百万个令牌，这两种代币都是DeepSeek-V3型号的价格的两倍。这可能表明培训和推动Kimi K2的成本可能更高。 贾斯汀·黄（Justin Wong）还提到了DeepSeek的影响。 “在筹集了DeepSeek-R1之后，许多人说Kimi不好，您讨厌DeepSeek吗？相比之下，许多同事认为DeepSeek-R1的受欢迎程度是一件很棒的事情，事实证明LT Power是最好的促销活动。只要模型做得好，市场就会认识到它。 他认为，Pideepseek已经证明，我们认为我们认为不仅会通行，而且还可以通过一条光滑的道路。 “唯一的遗憾是这条路不是我们能做的。” 贾斯汀·王（Justin Wong）还宣布，在年初的一次会议上，他通过了一些非常激进的建议。出乎意料的是，Zhilin（注意：月球黑暗面的创始人）必须对后续行动进行激进，例如不更新K1系列模型，使用主要算法和K2集中资源，并坚持认为在年初投资停止后无法恢复投资。 第二个探索是数据。通过大型工具，月球的黑暗部分建立了一条模拟管道，该管道涵盖了数百个字段和数千种用于Kimi K2的工具，形成了很多交互式Senaryo的旋转并过滤高质量的训练数据，从而为大型方法提供了一种方法 - 规范的非支撑培训和强化研究。 最后，在Kimi K2的训练后阶段使用了一般增强研究。对于经过验证的（例如数学，竞争计划）和不可否认的（例如写作研究报告），自我判断的机制旨在使该模型充当执行和批评家，并使用经过验证的任务继续优化批评，从而提高了非积极奖励的奖励的准确性。 月球的黑暗部分强调，训练后在经验中很重要，可以使大型模型通过互动研究独立学习，破坏人类的数据限制并超越人类的能力。这是提高Kimi K2代理商能力的关键。 AI的经验时间是加强研究之父Richard Sutton提出的一份声明。他认为，人类数据已达到极限，应该从人类经验中意识到AI。 然而，月球的黑暗部分表明Kimi K2仍然存在许多问题，例如，当复杂的推理或工具定义变得模糊时，冗余令牌产生，从而导致输出截断或不完整的工具调用；启用该工具后，某些任务可能会降低，并且生成完整软件项目的单个提示比代理的框架弱。 “ Kimi K2是发展总代理商的能力的稳定基础，但将军Ahthe Ente仍然需要更高级的能力。” Yuezhi的黑暗面表示，将来，思想和视觉理解能力的链条将继续升级。 贾斯汀·王（Justin Wong）认为，代理商模型能力的发展仍处于早期阶段，下一代预培训的模型仍然具有很大的潜力。 “在2025年，智能的上限由模型完全确定。” 今天，Kimi K2的发布进一步证实了黑暗部分的确定月亮留在大型型号的桌子上。回到Sohu看看更多