什么是停用词表?构建RAG系统时为什么要注意异常停用词?

停用词表在英文中叫:Stop Words List,它是一个包含常见、但通常对文本分析或自然语言处理任务 不重要的词汇 的列表。停用词表一般在信息检索、文本分类、情感分析等场景被使用。

什么是停用词表?构建RAG系统时为什么要注意异常停用词?

因为某些词汇其高频出现在表达具体意义时作用有限,因此被称为“停用词”。在处理文本数据时,通常会将这些停用词从文本中移除,以减少数据的稀疏性,提高处理效率,并可能提升后续分析或模型的性能

停用词出了一些常用的标点符号,通常包括但不限于以下几类:

介词如 “的”、“在”、“和”、“以”等。

连词如 “而且”、“但是”、“因为”等。

助词如 “了”、“着”、“过”等。

语气词如 “啊”、“呢”、“吧”等。

在某些上下文中,一些非常常见的实词,如“人们”、“时间”等,也可能被视为停用词,特别是当它们对特定分析任务 没有贡献 时。

使用停用词表时,需要注意以下几点:

不同领域的停用词可能有所不同,例如,在医学文本中,“患者”可能是一个重要词汇,而在一般文本中则可能被视为停用词。

不同语言的停用词表会有显著差异,因为每种语言都有其独特的词汇和语法结构。

停用词表不是静态的,可能需要根据具体任务和数据集进行动态调整。

目前在一些RAG系统中的文本预处理阶段,通过移除停用词,可以简化文本数据,使其更加专注于表达核心意义的词汇,从而有助于提升后续分析或模型的准确性和效率。

另外,中文常用的停用词已经有大佬整理好了,大家可以直接拿去参考哈,修修改改,基本上就可以用来了。

https://github.com/goto456/stopwords

什么是停用词表?构建RAG系统时为什么要注意异常停用词?

前沿技术大模型技术新闻资讯

Trae这次更新太炸了:上下文、MCP、智能体全上线,AI IDE全面觉醒!

2025-5-10 14:01:19

前沿技术多模态技术新闻资讯

Phi-3-Vision-128K大模型,AI助力OCR,文档处理更上一层楼

2025-5-10 14:27:37

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索