今天，Qwen2.5-1M模型开源。
2个尺寸，7B & 14B。开源并且，并结合vllm，集成了稀疏注意力机制，推理速度提升3到7倍。
-
技术报告地址：https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2.5-1M/Qwen2_5_1M_Technical_Report.pdf -
hf: https://huggingface.co/collections/Qwen/qwen25-1m-679325716327ec07860530ba
14B模型的大海捞针获得了全绿的成绩，7B仅少量错误
长度提升的同时，短序列的成绩依然保持优异！
训练策略： 逐步变长到256K。 然后使用长度外推，外推用到了DCA的策略，
DCA通过将大的相对位置，按chunk分组，映射为较小的值
最后是硬件依赖：
对于处理 1M 长度的序列：
-
Qwen2.5-7B-Instruct-1M：至少需要 120GB 显存（多 GPU 总和）。 -
Qwen2.5-14B-Instruct-1M：至少需要 320GB 显存（多 GPU 总和）。
如果 GPU 显存不满足以上要求，仍然可以使用 Qwen2.5-1M 进行较短任务的处理。
最后，祝大家新年快乐！
