-
1GB 显存即可部署：腾讯 HY-MT1.5 的模型蒸馏与量化策略解析
随着大语言模型（LLM）的爆发，机器翻译（MT）领域正经历着从传统的 Transformer 架构向生成式 LLM 架构的范式转移。然而，如何在保持 LLM 高质量翻译的同时，解决端侧部署的资源瓶颈，始终是业界难题。近日，腾讯混元团队（Tencent Hunyuan）发布了 HY-MT1.5 多语言机器翻译模型家族。该系列包含 1.8B 和 7B&…- 5
- 0
-
【GitHub高星】AI Research Skills：一键赋予AI“博士级”科研能力，74项硬核技能库开源！
想让你的AI助手不仅会写代码，还能自主复现顶级论文？这里有一份包含74项“科研必杀技”的开源库，从模型微调到分布式训练，把你的Coding Agent升级为全能科研专家！📉 痛点：科研路上的“环境配置地狱”对于计算机专业学生和AI研究员来说，最大的痛苦往往不是提出假设，而是验证假设的过程：• 想复现一篇论文，结果在配置 Megatron-LM 分布式环境上卡了三天；…- 10
- 0
-
前Mata GenAI研究员田渊栋的年终总结：关于未来AI的思考
写在前面的话：看到这篇文章，深受启发，故转载到这里与大家分享。每个人都应该对未来充满好奇，对AI进行长远思考，才会在这样的技术洪流中不被抛弃！借用作者常用的一句话激励每一个人：“求道之人、不问寒暑“。--------------------以下来自田渊栋的知乎------------------------关于被裁在2025年1月底被要求加入Llama4救火的时候，作为一直以来做强化学习的人，我事…- 2
- 0
-
智元发布SOP：让机器人在真实世界规模化部署与智能化运行
导 言 从开源具身世界模型平台，到发布大小脑系统，智元具身研究中心一直致力于为机器人构建更强的理解能力与决策能力。过去一段时间，开源社区基于这些基础设施已经构建了大量令人印象深刻的 Demo，也验证了世界模型作为模拟器、大小脑系统作为控制器的可行性。当机器人走出实验室，走向开放、复杂且持续变化的真实世界时，一个更核心的问题随之出现：如何真正实现通用机器人的规模化部署与智能化运行。为此，智…- 3
- 0
-
英伟达4B小模型：合成数据+测试时微调+优化集成
“在2025年ARC Prize竞赛中，由NVIDIA员工组成的NVARC团队，凭借一个基于合成数据和测试时训练的集成方案，以24.03%的准确率夺得冠军，展示了小模型在特定高难度推理任务上的巨大潜力。”在最新的ARC-AGI 2测试中，一个名为 “NVARC” 的解决方案，并且它在 Kaggle ARC Prize 2025竞赛中获得了第一名。该团队的核心成员是 NVIDIA 的 Kaggle …- 5
- 0
-
2026年 LLM 微调全指南
这不是一篇“速读”文章，但如果你能读到最后，作为一名 AI 从业者，你将掌握对 LLM 进行 Finetuning 所需的全部核心知识。当然，不可能面面俱到把所有细节都写尽；本文对各个概念、方法与工具的详略程度，会根据其重要性与相关性来取舍。LLM finetuning 是什么？LLM（Large Language Model）是一个在海量通用文本上预训练的语言模型。➡ LLM Finetunin…- 1
- 0
-
本地跑小模型带来5倍性能且成本极低！斯坦福从信息论视角重构智能体设计
斯坦福大学研究团队通过信息论视角重构了智能体系统设计，发现将算力前置投入到本地压缩小模型比盲目扩大云端推理大模型带来的性能提升高达5倍且成本极低。智能体系统的隐形瓶颈与信息论重构人工智能应用已渗透进我们工作的方方面面。从复杂的深度研究系统到代码助手 Claude Code，数百万用户每天都在与多模型协作的流水线交互。这些现代工作流通常涉及海量信息的处理，生成的Token数量往往超过了前沿模型能够有…- 5
- 0
-
刚刚，梁文锋署名，DeepSeek元旦新论文要开启架构新篇章
机器之心编辑部新年第一天，DeepSeek 发布了一篇新论文，提出了一种名为 mHC （流形约束超连接）的新架构。 该研究旨在解决传统超连接在大规模模型训练中的不稳定性问题，同时保持其显著的性能增益 。 简单来说，DeepSeek 提出的 mHC 通过将传统 Transformer 的单一残差流扩展为多流并行架构，并利用 Sinkhorn-Knopp 算法将连接矩阵约束在双拟随机矩阵流形上，成功解…- 4
- 0
-
多页文档理解强化学习设计思路：DocR1奖励函数设计与数据构建思路
传统GRPO适用于单图/单页任务，无法解决多页文档的两大关键问题：1、需从多页中筛选少量相关证据页；2、需平衡证据检索与答案生成的可靠性。EviGRPO是基于GRPO改进的强化学习框架，专门针对多页文档理解优化——先全局理解文档并定位相关证据页，再基于证据页细粒度推理生成答案，而非直接生成结果。奖励函数设计格式一致性奖励）：二元奖励（0或1），若模型输出严格遵循下表规定的格式（需明确标注推理过程、…- 0
- 0
-
Llama Factory 实战，轻量级微调 LLM。
LLaMA Factory 是一个简单易用且高效的大型语言模型训练与微调平台，可以在有限的算力条件下快速完成模型训练。它的高效性与轻量级优势，核心在于通过注入额外模块或矩阵（如 LoRA、Prefix Tuning 等技术）对原有 LLM 模型进行针对性训练 —— 大部分参数被冻结无需参与训练，省去了全量微调的繁琐与资源消耗。原始链接：https://github.com/hiyouga/LLaM…- 5
- 0
-
Open联合创始人：AI大模型2025年度回顾
Andrej Karpathy 是 OpenAI 联合创始人、前特斯拉 AI 总监，也是全球最有影响力的 AI 研究者之一。他刚刚发布了一篇 2025 年 LLM 年度回顾。 我推荐每一个AI产品经理都学习，这里翻译为中文如下 第一个大变化：训练方法的范式升级 2025 年之前，训练一个好用的大模型基本是三步走：预训练、监督微调、人类反馈强化学习。这个配方从 202…- 4
- 0
-
我微调了一个LangChain专家模型，离Vibe Agent又近了一步
书接上回。上一篇我们聊到，我在探索大模型微调的路上，卡在了“训练数据从哪来”这个问题上。经过一番折腾，我终于写出了一个能自动爬取、清洗、结构化 LangChain 官方文档的脚本，成功生成了一份高质量的训练数据集。而就在最近，我完成了对这份数据集的微调训练——正式训练出一个专精 LangChain 最新生态技术栈的智能体模型！它不仅能准确回答 LangChain、LangGraph、LangSmi…- 0
- 0
-
左脚踩右脚：大模型的有趣且简单的微调方式“SHADOW-FT”
大语言模型的微调主要分为两类：全参数微调和参数高效微调（lora等）。直接对 Instruct 模型进行调优通常仅带来微小的提升，甚至导致性能退化。Base 模型与Instruct 模型权重值高度相似。Base 模型往往是一个良好的学习器，但在后训练前较弱。因此，通过利用对应的Base 模型来调优 Instruct 模型。核心思想是先微调 Base 模型，然后将学成的权重更新 直接赋予 Instr…- 4
- 0
-
大模型训练的高效内存解决方案：流水线感知的细粒度激活卸载，实现显存开销与吞吐性能的联合最优
随着大语言模型（LLM）参数规模突破千亿级（如 Kimi-K2 达 1000B 参数）、上下文长度扩展至 32K 甚至更长，激活值巨大的显存开销已经成为大语言模型训练过程中的核心瓶颈 —— 激活值数据量随序列长度增长呈二次方增长，极易超出 GPU 内存容量，该问题在多模态、强化学习（RL）等场景中尤为尖锐。传统解决方案（如完全重计算、增大并行度）或带来显著计算开销，或导致通信成本激增，最终导致模型…- 4
- 0
-
一杯咖啡成本搞定多模态微调：FC DevPod + Llama-Factory 极速实战
作为一个 AI 开发者，你一定经历过这样的绝望时刻：兴致勃勃地下载了最新的 Qwen2-VL 权重，准备用自己的垂直领域数据跑一次 SFT（监督微调）。然而，现实却是残酷的——RuntimeError: CUDA out of memory—— 显存不够，模型加载失败。Driver/Library version mismatch—— 驱动版本不对，环境配置陷入死循环。看着云厂商 GPU 实例高昂…- 2
- 0
-
OpenAI公开新的模型训练方法：或许能解决模型撒谎问题，已在GPT-5 thiking验证
刚刚OpenAI公开了一种新的重要的模型训练方法（概念验证）面对大型语言模型（LLM）可能出现的欺骗行为——比如为了讨好人类用户而撒谎、隐瞒违规操作，甚至为了获得更高奖励而进行“奖励黑客攻击（Reward Hacking）”，OpenAI提出了一种名为 “坦白（Confession）” 的训练方法简单来说，就是在模型给出回答之后，强制要求它进行一次自我反省，诚实地交…- 3
- 0
-
微调Rerank模型完整指南
Rerank（重排序）模型是RAG系统中的关键组件，能够显著提升检索精度。本文将详细介绍如何使用LlamaIndex微调Cross-Encoder类型的Rerank模型，让你的RAG系统更精准、更智能。🎯 核心价值：通过微调Rerank模型，可以在不改变Embedding模型的情况下，将检索准确率提升10-30%，是优化RAG系统性价比最高的方法之一。一、Rerank模型基础概念1. 什么是Rer…- 3
- 0
-
大模型微调全流程实战指南：基于IPO框架的深度解析与优化
这两周，自己正在实践大模型微调（Fine-tuning），也算是有些粗浅思考了。为什么要进行大模型微调呢？大模型微调（Fine-tuning）是将通用AI转化为特定领域专家的关键路径。本文基于 IPO（Input输入-Process处理-Output输出） 三阶段框架，结合行业实践与技术，从数据构建到落地应用，全链路解析微调的核心动作与优化策略。一点点思考，自己也在不断精进中·…- 2
- 0
-
AI基础 | Qwen3 0.6B 微调实现轻量级意图识别
“ AI Agent中，大小参数模型结合的使用，可以提高执行效率和降低应用成本，工程最佳实践方法之一；”在AI Agent应用中，要考虑执行效率和使用成本的问题，大模型包揽一切是不明智的；一些场景用传统的机器学习建模都够用，但是，面临数据集太小泛化能力差，训练复杂，要自己写工具调用逻辑等问题；《小模型+高质量私有数据集微调解决方案》，小模型 + 自有数据的组合，将成为您构建高效、低成本 …- 1
- 0
-
从零开始：手把手教你微调Embedding模型，让检索效果提升10倍！
还在为RAG系统的检索效果不佳而苦恼？通用Embedding模型无法理解你的业务场景？今天，我将带你从零开始，用LlamaIndex微调一个专属的Embedding模型，让检索准确率大幅提升！一、为什么需要微调Embedding模型？在RAG（检索增强生成）系统中，Embedding模型的质量直接决定了检索效果。虽然市面上有很多优秀的通用Embedding模型（如BGE、OpenAI的text-e…- 4
- 0
-
2张4090竟能本地微调万亿参数Kimi K2！趋境联合清华北航把算力门槛击穿了
微调超大参数模型，现在的“打开方式”已经大变样了：仅需2-4 张消费级显卡（4090），就能在本地对DeepSeek 671B乃至Kimi K2 1TB这样的超大模型进行微调了。你没有看错。这要放以前啊，各路“炼丹师”是想都不敢这么想的。因为按照传统的方法，类似Kimi K2 1TB参数的模型，用LoRA微调方案理论上需要高达2000GB的显存，而即便是参数量稍小的 DeepSeek-671B的模…- 3
- 0
-
基于昇腾NPU的Qwen3量化因子代码生成微调实战
前一段时间 Qwen3 发布了，它支持动态推理，而且其小参数量模型也取得了相当优秀的成绩。恰巧参与华为的活动，有昇腾910B3的算力时长资助，这就拿来试试水。所用环境昇腾 910B3（64GB 显存）昇腾开发包(ascend-toolkit) 8.2.RC1.alpha002Python 3.10.14mindspore 2.7.0mindnlp 0.5.0llamafactory 0.…- 3
- 0
-
从零教你微调一个专属领域大模型，看完小白也能学会炼丹!（完整版）
这个系列的制作周期其实非常久，第一个原因是我所有的教程都是业余时间在制作的，基本上都是工作日晚上 10 点后，以及周末的时间。另外就是在开始做这期教程之前，我就发现网上现在其实有很多关于模型微调的教程，也有很多围绕 LLaMA Factory 来讲解的，但是大部分只是从工具使用的表象进行讲解，你即便阅读完可能也只是学会了 Hello World ，所以我并不…- 2
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×