蚂蚁大规模知识图谱构建及其应用( 四 )


将知识图谱整合到大模型输入中 。可以利用知识图谱来进行数据清洗 , 或利用知识图谱直接显式地进行形式化拼接 。
将知识图谱融合到大模型训练中 。比如同时进行两个任务的训练 , 知识图谱可以做知识表示的任务 , 大模型做MLM的预训练 , 两者联合建模 。
将知识图谱注入到大模型推理中 。首先可以解决大模型的两个问题 , 一是将知识图谱作为先验约束 , 来避免大模型“胡说八道”;第二就是解决大模型时效性问题 。另一方面 , 基于知识图谱 , 可以为大模型生成提供可解释方案 。
知识增强的问答系统

蚂蚁大规模知识图谱构建及其应用

文章插图
主要包括两类 , 一块是知识图谱增强的问答系统 , 即用大模型来优化KBQA的模式;另一个是信息检索增强 , 类似LangChain、GopherCite、New Bing等用大模型来做知识库问答的形式 。
知识增强的生成式搜索问答系统 , 有如下优势:
  • 通过接入搜索系统 , 解决时效性问题 。
  • 通过提供Reference链接 , 可以进行人工核查 , 以解决事实性错误问题 。
  • 引入搜索结果 , 丰富上下文 , 增强大模型生成效果 。
3、总结与展望
蚂蚁大规模知识图谱构建及其应用

文章插图
知识图谱与大模型如何更好地交互协同共进 , 包括如下三个方向:
  • 推进知识图谱和大模型在NLP、问答系统等领域的深入应用 。
  • 使用知识图谱进行大模型的幻觉检测和去毒 。
  • 结合知识图谱的领域大模型研发 。




推荐阅读