自然语言处理NLP之信息检索

• 是什么：处理什么问题
  自然语言处理

计算机和人类交流的方式桥梁

• 让计算机理解人类的语言，并完成一些与文本相关的任务
• 科普
  
  机器翻译

三个阶段：基于语法规则，基于统计（概率最大的结果），基于神经网络
聊天机器人
通用型Siri、领域型

知识图谱：对信息（实体）构建联系——将现实世界映射到数据世界

关键词图谱-舆情分析

• 智能推荐
• 精准营销
• 事件倾向

信息抽取/事件抽取

• 从自然语言文本中抽取出特定的事件或事实信息，将海量内容1自动分类、提取和重构
• 信息：实体、关系、事件
• ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210206120326361.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjQ yNDQ3,size_16,color_FFFFFF,t_70]
• 信息抽取：能从自然语言中抽取出信息框架和用户感兴趣的事实信息
• 广泛应用：信息检索、问答系统、情感分析、文本挖掘

信息检索

• 起源：图书馆的资料查询和文摘索引
• 计算机应用：图片、音频、视频等各种信息的检索
• 
• 广泛应用：搜索引擎是最常见、规模最大的信息检索系统

1. 通过爬虫不断抓取、存储、更新互联网中的网页内容
2. 建立像字典一样的索引目录
3. 用户输入关键词时，通过关键词在网页中出现次数和位置来判断页面与Query之间的相关性，并将其由高到低排列起来

关键核心：理解用户query，清除重复或者低质量的页面，建立高效的索引
好的搜索引擎需要：分词、信息提取、文本分类(NLP技术为支撑

• 使用高效的搜索语句：便于搜索引擎更好地理解
  

搜索引擎

Google

• 算法：搜索排名结果

• 关键字
• 链接及联系
• 地点、事件