-
用Macbook微调Qwen3！手把手教你用微调给Qwen起一个新名字
写在前面最近笔者的GPU服务器出了点故障，因此实验只能依靠一台小小的MacBook轻薄本。结果发现意外的能打，跑一些深度学习模型或者大模型居然也能正常运行。看来买Macbook不完全是法器同样也是生产力 :-)。本篇教程将带大家了解下如何Macbook来进行Qwen3微调，并且利用苹果自家发的MLX深度学习框架，让Macbook的性能发挥到极致。1MLX框架简介MLX框架GitHub地址：http…- 3
- 0
-
微调已死？Google 和斯坦福论文指出AI 学习新范式
最近，两篇新论文正在学术圈引发热议。Google的ReasoningBank和斯坦福的ACE（Agentic Context Engineering），看似研究不同方向，实则都在解决同一个根本问题：如何让AI系统真正学会学习。不是训练时的学习，而是使用时的学习。不是从数据集中学习，而是从自己的经历中学习。重复犯错的AI想象这样一个场景：你让AI助手帮你在购物网站上找到某个商品的首次购买日期。它先点…- 3
- 0
-
在Colab中微调Qwen3-4B模型实战指南
一、配置环境1. 安装 unslothpip install unsloth -i https://pypi.tuna.tsinghua.edu.cn/simple2. 查看 GPU 信息import torchdef print_cuda_info(): try: print(…- 3
- 0
-
微调Qwen2.5模型的完整指南
在本教程中，我们将介绍如何微调Qwen2.5模型，以适应特定任务和数据集。1. 准备工作在开始微调Qwen2.5模型之前，确保你已经完成了以下准备工作：安装了必要的库和依赖项。下载了Qwen2.5模型的预训练权重。准备好了用于微调的数据集。安装必要的库pip install transformers datasets torch下载Qwen2.5模型你可以从Hugging Face下载Qwen2.…- 3
- 0
-
阿里云Qwen3系列模型部署微调评测
与阿里云一起轻松实现数智化让算力成为公共服务：用大规模的通用计算，帮助客户做从前不能做的事情，做从前做不到的规模。让数据成为生产资料：用数据的实时在线，帮助客户以数据为中心改变生产生活方式创造新的价值。模型部署登录阿里云，访问阿里云人工智能业务平台PAI的控制台，选择模型厂商对应规格的模型，选择模型的部署方式，填写模型的基本属性，设置部署模型的资源类型，点击部署按钮，即可实现一键部署：在线调试部署…- 4
- 0
-
如何将公司内部数据制作成大模型训练用的数据集
毫不夸张地讲，你的大模型微调效果好不好关键在于数据集质量如何。而微调工具或者微调参数只是其次。那么如何将公司内部的私有数据制作成大模型微调用的数据集呢？我给大家总结了6大步。第一阶段：规划与准备 (最重要的阶段)在开始任何技术工作之前，必须明确目标和规则。1）明确训练目标：任务类型：你想训练模型完成什么任务？知识问答：基于文档内容回答问题。文本摘要：自动生成文档摘要。内容分类：将文档归入…- 6
- 0
-
手把手教你用LLaMA‑Factory微调医疗问答模型：从小白到专家的实战之路
前言：理论学完了，该动手了！还记得上一篇文章里咱们聊的那些"微调魔法"吗？从全量微调的"豪华装修"，到LoRA的"便利贴"，再到QLoRA的"压缩+便利贴"王炸组合——理论都懂了，是不是已经手痒痒了，想要亲手"调教"出一个属于自己的AI专家？但是吧，一想到那些复杂的Python代码、繁琐…- 2
- 0
-
微调实战之上手训一个7b小模型
微调目的模型提示词工程、RAG都已经实践上手了一些项目。真实场景中，希望模型自己能输出企业内部知识，选择了模型微调，目的是让模型学习企业内部数据。我这次项目主要是针对我负责的ERP销售系统，将专业术语、系统操作、常见问题等喂给它进行微调，希望微调训练后，能够学习到我负责系统的相关知识。【首次】环境安装（各版本不冲突）1、基础软件及包安装：pytorch、cuda、python等基础软件的安装，网上…- 2
- 0
-
WeChat-YATT：微信强化学习大模型训练库
项目背景我们基于 Megatron-Core 和 SGLang/vLLM 研发了大模型训练库 WeChat-YATT（YATT,Yet Another Transformer Trainer），内部项目名为 gCore，专注于强化学习和多模态模型的训练，旨在提供易扩展、简洁、高效、可靠的大模型训练能力。通过定制化的并行计算策略，我们的训练库能够处理…- 4
- 0
-
让AI读懂代码需求：模块化大模型微调助力高效代码理解与迁移
一、项目背景高德终端技术团队进行开源项目仓库代码升级期间，由于主版本跨度大，代码量更新变化也很大，过往在低版本上的经验知识不足以支持升级，如果依赖个人读懂整体仓库代码耗时过长。为研发提效，使用了阿里内部代码平台工具，发现暂不能满足一些定制化的知识问答，同时使用上也存在一些限制，外部类似deepwiki工具又存在代码安全问题，因此，基于code RAG和code Agent技术开发了研发提效工具，一…- 4
- 0
-
大模型微调，解锁AI的专属超能力！
还在为AI答非所问而抓狂？想让大模型秒懂你的行业“黑话”？全参数微调太烧钱？想用消费级显卡驯服百亿大模型？微调（Fine-Tuning），就是那把打开专属AI大门的金钥匙！1、什么是大模型微调？为何如此重要？想象一下，你刚招聘了一位天赋异禀的“通才”（如ChatGPT、文心一言等通用大模型）。他上知天文下知地理，但… 不懂你的业务细节、不熟悉你的专业术语、不会做你的特定任务。微调，就是为…- 5
- 0
-
微调之后还能做什么？大模型后训练全链路技术解析
什么是后训练？后训练（Post-Training）是指在预训练模型的基础上，针对特定的任务或数据集进行额外的训练。这个阶段通常涉及到微调（Fine-tuning）和对齐 （Alignment），即调整预训练模型的参数以适应新的任务。黑色： 预训练阶段红色： 后训练阶段紫色： 推理测试阶段为什么要进行后训练？Post-training重要性-后训练扩展律Post-training scaling l…- 3
- 0
-
使用quarot量化qwen3并实现在线推理
代码已上传：https://github.com/taishan1994/LLM-Quantization#quarot旋转量化如果加入在线旋转，则需要修改模型的forward。这里我们使用在线旋转并且适配transformers推理。使用的量化框架：llmc使用的推理框架：transformers（当然也可以替换成vllm和sglang进行适配）首先按照llmc给的环境安装基础环境，然后在con…- 0
- 0
-
Unsloth微调Qwen3实战：让大模型训练飞起来的神器
为什么我会盯上Unsloth？以前搞大模型微调真的是一件让人头疼的事情。动不动就要几十G的显存，训练个模型恨不得把电费账单给烧爆了。我记得有次用传统方法微调一个7B的模型，电脑风扇转得跟飞机起飞似的，吵得我邻居都来敲门了。这时候Unsloth就像个救世主一样出现了。它号称能够把微调速度提升2-5倍，内存使用量还能减少80%。刚开始我是不太信的，这年头吹牛的项目太多了。直到我亲自试了一把，才发现这货…- 5
- 0
-
飞桨 AI Studio：一步步微调你的大模型
飞桨 (PaddlePaddle) 是百度自研的深度学习平台，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体，对标国外的 Pytorch 和 Tensorflow。由于飞桨各个模块组件更偏底层，为了方便 AI 学习者和开发者在线使用、训练、部署各种模型，基于飞桨平台百度又推出了 AI Studio（https://aistudio.baidu.com/index）。…- 4
- 0
-
150%训练效率提升：感知检测小模型训练优化方法
一、背景在智能驾驶技术快速发展的背景下，车辆对周围环境的实时感知和决策能力成为系统性能的关键。目标检测、语义分割、多传感器融合等任务构成了智能驾驶系统的核心感知模块，这些算法通常依赖于大规模深度学习模型的训练与部署。随着自动驾驶等级从L2向L3乃至L4演进，模型复杂度和数据量呈指数级增长，这对计算平台提出了更高的要求，尤其是在算力、内存带宽、并行处理能力和能效比等方面。 当前，行业内主…- 2
- 0
-
10分钟微调，让0.6B模型媲美235B模型！免费体验进行中
大参数模型效果好，但成本高、响应慢。为了在保障效果的同时提升推理速度、降低成本，可首先借助大参数模型完成目标任务的数据生成，并使用这些数据微调小参数模型，使其在特定任务中达到接近大参数模型的表现，这一过程也被称为模型蒸馏。本方案将以从一句话中提取结构化信息（如收件人、地址、电话）为例，演示如何通过模型蒸馏，让 Qwen3-0.6B 模型在此任务上达到大参数模型的表现。先来看效果对比吧。经过了模型优…- 1
- 0
-
大模型微调技巧：LoRA 与 QLoRA讲解
01引言随着ChatGPT的横空出世，大家都见证了大语言模型（LLM）的强大潜力——它们能够理解自然语言并以极高准确度响应人类需求。在LLM的缩写中，首字母"L"代表的"Large"（庞大）一词，直观体现了这类模型通常拥有的海量参数规模。现代LLM往往包含超过十亿个参数。试想这样一个场景：我们需要将LLM适配到某个下游任务。常规做法是通过微调（Fine-tu…- 6
- 0
-
英伟达：专门微调后的小模型才是Agentic AI的未来
NVIDIA 不希望你用一个大模型（LLM）来完成所有智能体（Agent）任务。原因包括成本高、延迟大、系统开销重，以及 LLM 的各种限制，如部署难度、商业绑定等问题。英伟达提出了一种「数据飞轮」方法：通过分析实际使用数据，并根据可用工具对任务数据进行聚类和划分。「小语言模型（SLM）已经足够强大，更适合智能体系统中的许多任务调用，且经济高效，因此它们才是智能体 AI 的未来。」—— NVIDI…- 7
- 0
-
大模型微调的数据成本到底有多吓人？丨实战笔记
接上回啥时候上RAG？啥时候上微调？丨实战笔记里说到的——为什么没事儿不要想着微调？先来看这个金融模型case的微调用了多少数据👇🏻📈 CFGPT: Chinese Financial Assistant with Large Language Model地址：https://github.com/TongjiFinLab/CFGPT这只是量级上的吓人，况且微调对数据的要求比rag要严。下面就是几…- 3
- 0
-
AI学会反思后智商飙升，分享我训练AI干活的3个方法
说内容前，我先说说自己是怎么发现这篇论文的。熟悉AI的同学大多知道一个网站叫Hugging Face，这个平台不仅有各种大模型的训练场和技术讨论区，还开设了一个“每日论文”栏目。由于AI领域如今太过火热，每天都有大量新论文发布，这个栏目就像是一个论文版的“知乎热榜”——作者提交论文，读者点赞排名。今天要介绍的这篇论文，是这个栏目6月排行榜的第三位。论文作者并不是一个典型的高校研究学者，而是一家名叫…- 2
- 0
-
如何让 AI 真正帮你写老系统里的代码
最近越来越多公司在尝试把 AI 引入日常开发流程，尤其是用来辅助编码。但现实是，效果往往没有想象中那么理想。尤其在老项目、旧系统中，AI 很难真正“帮上忙”。很多代码结构混乱、文档缺失、上下文不清，AI 就像一个刚入职、没人带的新同事，根本搞不清楚在做什么。所以问题不是“AI 不够聪明”，而是我们没给它提供能理解的环境、清晰的任务、以及明确的反馈。要真正用好 AI，我们需要做三件事，让它能读懂、能…- 2
- 0
-
模型微调是啥？有哪些方法？小白也能看懂的通俗讲解
大模型虽然很强，但总不能什么都懂你——想让它说得更准、听得更懂，就得“调教”一下，这就是：模型微调（Fine-tuning）。目录三种主流微调方法全解析（LoRA / Adapter / Prompt Tuning）LoRA 是啥？不是改模型，是“偷偷加点料”Adapter 是啥？像插“外挂模块”，每层塞一点新知识Prompt Tuning 是啥？不是“写提示词”，而是“学提示向量”微调成本（假设…- 0
- 0
-
spaCy中文分句模型微调秘籍，从数据准备到模型评测，一学就会！
spaCy中文分句模型微调秘籍，从数据准备到模型评测，一学就会🎯 文章目标认识 spaCy 中文分句的三大方案（Sentencizer、senter、DependencyParser）及其适用场景理解分句背后的原理、工程实现与模型结构（CNN/Transformer）学会从数据准备、格式转换、模型训练到推理与评估的完整流程掌握如何根据实际需求选择合适的 pipeline 组件和底层结构拓展分句思想…- 0
- 0
扫码打开当前页
联系我们
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×