- Python人工智能教程
- 首页
- Python人工智能——基础概念
- Python人工智能——入门
- Python人工智能——机器学习
- Python人工智能——数据准备
- 监督学习：分类
- 监督学习：回归
- Python人工智能——逻辑编程
- 无监督学习：聚类
- 自然语言处理
- Python人工智能——NLTK包
- 时间序列数据分析
- Python人工智能——语音识别
- Python人工智能——启发式搜索
- Python人工智能——游戏
- Python人工智能——神经网络
- 强化学习
- Python人工智能——遗传算法
- Python人工智能——计算机视觉
- Python人工智能——深度学习
- Python人工智能资源
- Python人工智能——快速指南
- Python人工智能——有用资源
- Python人工智能——讨论
Python人工智能——自然语言处理
自然语言处理 (NLP) 指的是利用自然语言（例如英语）与智能系统进行交流的人工智能方法。
当您希望机器人等智能系统按照您的指令执行操作时，或者当您想从基于对话的临床专家系统中听到决策时，就需要进行自然语言处理。
NLP 领域涉及使计算机能够使用人类使用的自然语言执行有用的任务。NLP 系统的输入和输出可以是：
- 语音
- 书面文本
NLP 的组成部分
在本节中，我们将学习 NLP 的不同组成部分。NLP 有两个组成部分，如下所述：
自然语言理解 (NLU)
它包括以下任务：
将给定的自然语言输入映射到有用的表示形式。
分析语言的不同方面。
自然语言生成 (NLG)
它是从某种内部表示生成有意义的短语和句子的过程。它包括：
文本规划——这包括从知识库中检索相关内容。
句子规划——这包括选择所需的单词，形成有意义的短语，设置句子的语气。
文本实现——这是将句子计划映射到句子结构。
NLU 的难点
NLU 形式和结构非常丰富；然而，它也存在歧义。歧义可以存在于不同的层面：
词汇歧义
它处于非常初级的层面，例如词级。例如，将“board”一词视为名词还是动词？
句法层面的歧义
一个句子可以以不同的方式解析。“He lifted the beetle with red cap.”——他是用帽子举起甲虫还是举起一只戴着红帽子的甲虫？
指称歧义
使用代词指代某事物。例如，丽玛去了高丽家。她说：“我很累。”——到底是谁累了？
NLP术语
现在让我们看看 NLP 术语中的一些重要术语。
音系学——它是系统地组织声音的研究。
形态学——它是从原始有意义的单元构建单词的研究。
语素——它是语言中意义的基本单位。
句法——它指的是安排单词以构成句子。它还包括确定单词在句子和短语中的结构作用。
语义学——它关注单词的含义以及如何将单词组合成有意义的短语和句子。
语用学——它处理在不同情况下使用和理解句子以及句子的解释如何受到影响。
语篇——它处理紧接前面的句子如何影响下一个句子的解释。
世界知识——它包括关于世界的常识。
NLP 的步骤
本节介绍 NLP 的不同步骤。
词法分析
它包括识别和分析单词的结构。一种语言的词典是指该语言中单词和短语的集合。词法分析是将整块文本分成段落、句子和单词。
句法分析（解析）
它包括分析句子中的单词的语法并以显示单词之间关系的方式排列单词。例如，“The school goes to boy”这样的句子会被英语句法分析器拒绝。
语义分析
它从文本中提取确切的含义或字典含义。文本会被检查其是否有意义。这是通过将句法结构和对象映射到任务域来完成的。语义分析器会忽略诸如“热冰淇淋”之类的句子。
语篇整合
任何句子的含义都取决于其之前的句子的含义。此外，它还会影响其紧随其后的句子的含义。
语用分析
在此过程中，会重新解释所说的内容的实际含义。它包括推导出需要现实世界知识的语言方面。