文章结构:
一、我们先谈如何设计 AI 与人的交互
二、更好的设计是什么
三、为什么“真正的产品创新不可能靠跨部门协作,只能是集中式创造。”
四、后记&彩蛋
五、联系方式
我们先谈如何设计 AI 与人的交互。



召回率(Recall/查全率)=检索到的 正确目标数量 ÷ 全部目标数量。
精确率(Precision/查准率)=检索到的 正确目标数量 ÷ 检索返回的总数量。
所以,可以理解为,查全率说的是,你相册里有一百张狗狗的照片和一堆猫的照片,没有其他的。如果系统给你查到了 100 张狗狗,那就是最好。此时,查全率 = 100 / 100 = 100 %,查准率也是 100%。
即便同时把 10 张猫也捞上来,召回率依旧是 100 %,但此时查准率仅是100 / (100 +10) ≈91 %,因为它只看漏没漏真狗,查得全不全。
但如果你查到了 90 张狗狗的照片,有 10 张狗狗没找到,那就差点。此时,查全率 = 90 / 100 = 90 %(漏掉了 10 张,不全)但查准率可能是 100%,只要这 90 张都是狗狗。
查准率呢,如果系统给你查到了 90 张照片,且这 90 张都是狗狗,此时查准率 = 90 / 90 = 100 %(即便还有 10 张狗没有捞上来,查准率也是 100%,它只关心捞上来的准不准),但查全率只有 90%。
如果给你查到了 90 张,但是 90 张里边还有 10 张猫的照片,只有 80 张是真的狗狗,那就不好。查准率 = 80 / 90 ≈ 89 %(因为混进了 10 张猫),查全率也只有 80%。
|
系统返回内容 |
召回率 |
精确率 |
发生了什么 |
S |
只有100 张真狗 |
100% |
100% |
真狗全找出来了,找出来的全是真狗 |
A |
100 张真狗 + 10 张猫 |
100% |
91% |
一只狗没漏,但四张里三张是猫 |
B |
90 张真狗(无猫) |
90% |
100% |
漏了 10 只狗,却张张都准 |
C |
80 张真狗 + 10 张猫 |
80% |
89% |
又漏又混,双指标都降 |
仅阈值调整方式 |
召回率 (Recall) |
精确率 (Precision) |
降低阈值 / 网眼放大 |
↑(漏检更少) |
↓(误检增多) |
提高阈值 / 网眼收紧 |
↓(漏检增多) |
↑(误检减少) |
为什么因为在搜索这个场景里边,用户最需要的是搜到照片。即便有一些猫猫、毛绒玩具混进来,对用户没有显著的损失,因为既不影响你看狗、也不影响你分享,并且如果你要制作图册,你把非狗的部分删掉就好了。
但是如果有些狗狗没有搜出来,你是难以接受的,难道是对它的爱不深沉了没拍到,还是自己的记忆出现了错误当时没有拍,甚至会怀疑是不是误删除了照片因为大部分用户并不知道产品背后的设计逻辑。他们会认为自己出了问题。
更好的设计是什么
1、在用户输入文字后,查询的第一屏(或者头两屏),采用精确率优先的策略,也就是说,尽可能保障搜到的都是真狗。
2、然后在第二屏(或者第三屏)往后,逐步采用召回率优先的策略。直到精确率下降到明显伤害了体验,可以有一个向下的点击询问用户,“是否要扩大搜索,找到尽可能多的狗狗照片”。这个询问的动作,甚至也可以发生在用户往下翻屏幕的速率太快上触发。
3、更进一步,甚至可以在检索数量过少的时候,主动提示用户是否补充搜索信息、扩大搜索范围或者想搜索的其实是别的。而这些操作也都可以设计得很“人性化”。
4、考虑到我所提出的,好的 AI 产品应当主动构建“Profile、Preference、Context”三要素,理解用户档案、偏好、情境,并设计、收集好一些信号的反馈,进而实现更智慧、更个性化、更情景化的,以及更人性化的服务,其实用户体验的提升是没有止境的。详见 # AI产品的设计 系列文章。