搜索引擎的演化历程
搜索智能问答的探索与实践
搜索引擎的演化历程
搜索中的问题需求
搜索中的问答形态
搜索中问答的技术路线
KBQA
什么是KBQA
解决方案
方案一：结构化推理
基于组合范畴语法 (CCG) 或句法依存树解析Query结构，并将其以固定的规则转换为图引擎表达式
方案二：结果端到端
基于神经网络，一站式完成从原始文本的输入到图引擎表达式/查询语 句的输出
方案选择
Query解析：模板挖掘
基于种子SPO，从多方数据来源挖掘模板
Query解析：层次化模板匹配
简单识别，与多层次嵌套模板识别
Query解析：模型预测
使用轻量且精准的模型兜住模板未能覆盖的10%的用户表达
结构化推理：算子引擎
算子的无限种组合，可以解决搜索场景下绝大多数复杂问题
DeepQA
DQA解决什么问题
背景：
DeepQA是指深度挖掘自由文本内容，结合QP匹配和MRC等技术，从自由文本中抽取文本片段作为答案，从而产出高质量问答对，扩充线上FAQ库，提升问答整体覆盖率。
特点：
来源简单 数据丰富 广泛适配多数场景
难点 如何从中抽取正确的答案？
搜索场景下的DQA
问答Query的理解
Query意图据识模型
MRC模型优化
MRC数据强化
答案选择与排序
答案选择排序
•答案聚合：多来源多文档下，同答案聚合，提升信号强度
•答案排序：选取基础Q-T-P-A四元组基础字面匹配特征、MRC模型特征、语义类特征等，做多维信号融合打分排序
据识后置
• MRC据识：MRC模型面临大量负样 本，过召回问题收敛难度大，过度 收敛会导致召回变低
• 后置据识：通过后置多维度融合后 的分数，对答案进行进一步据识， 降低过召回情况
方案的效果
Motian预训练 + MRC + rank 取得 CLUE-CMRC 榜单 Top1
IRQA
IRQA需要做哪些事情
匹配：相关性计算模型
预训练模型应用
大模型加速
一些思考
IRQA对内容生态的依赖、TOP1&SEO的互利结合
DQA事实的支撑、 KB完备性、KB的联合
更全面的应用
