溯源/引用，工业界应用老板们最喜欢加的一个东西。总的来说，这个文章也没啥。做了一个评测基准，开源了一个用于溯源sft的45k数据集，开源了2个模型，介绍了他们的数据生成pipeline。
-
hf-dataset:https://huggingface.co/datasets/THUDM/LongCite-45k -
model 1:https://huggingface.co/THUDM/LongCite-glm4-9b -
model 2:https://huggingface.co/THUDM/LongCite-llama3.1-8b -
github: https://github.com/THUDM/LongCite
主要看看数据生成的pipeline把，如下图：3步+1步过滤 （为啥不一步到位了，说是这样更干净，先出答案，在生成引用）
-
QA数据生成：LLM生成与给定长文本相关的查询和答案。 -
块级引用生成：给chunk标上引用，结合问题，答案，生成带引用的chunk级别qa数据 -
句子级引用提取：从每个chunk引用中提取出支持每个陈述的相关句子，生成细粒度引用。 -
过滤，丢弃引用数量不足的样本。 
数据比例，中文占比比较多。 可以比较好的利用私有场景~
整体就是效果更好
