CS224N学习笔记（五）依存句法分析 - CSDN博客

Lecture 5: Dependency Parsing对于句法结构分析，主要有两种方式：Constituency Parsing（成分句法分析）与Dependency Parsing（依存句法分析）。

CS224N学习笔记（五）依存句法分析 11好好学习，天天向上 于 2021-07-0810:47:06 发布 230 收藏 3 分类专栏： 自然语言处理 NLP 版权声明：本文为博主原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u011426236/article/details/118555143 版权 自然语言处理 同时被2个专栏收录 38篇文章 8订阅 订阅专栏 NLP 36篇文章 0订阅 订阅专栏 Lecture5:DependencyParsing 对于句法结构分析，主要有两种方式：ConstituencyParsing（成分句法分析）与DependencyParsing（依存句法分析）。

本节课的句法分析以英文为例，其他语言也有类似的结构。

SyntacticStructure:ConsistencyandDependency ConstituencyParsing ConstituencyParsing称为成分句法分析，主要思想是通过短语语法来不断的将词语整理成嵌套的组成成分，又被称为context-freegrammers，简写为CFG。

成分句法分析的主要步骤为： 先对每个词做词性分析partofspeech（POS）然后再将其组成短语再将短语不断递归构成更大的短语 举例来说，如图所示，进行如下处理： 首先进行词性判别（POS） Det指的是Determiner，在语言学中的称为限定词N指的是Noun，即名词Adj指的是Adjectives，即形容词P指的是Prepositions，即介词 the是限定词，用Det(Determiner)表示，cuddly是形容词，用Adj(Adjective)代表，cat和door是名词，用N(Noun)表示,by是介词，用P(Preposition)表示。

然后依据语法关系对这些词语进行组合 由Det、Adj、N组合形成了一个名词短语NP（NounPhrase，在语言学中的含义为名词短语）由P、NP组合形成了一个介词短语PP（PP指的是PrepositionalPhrase，在语言学中的含义为介词短语） thecuddlycat构成名词短语NP，这里由Det(the)+Adj(cuddly)+N(cat)构成，bythedoor构成介词短语PP，这里由P(by)+NP(thedoor)构成。

之后可以继续递归的组合下去 比如由NP和PP又组成了新的NP 整个短语thecuddlycatbythedoor是NP，由NP（thecuddlycat）+PP(bythedoor)构成。

DependencyStructure DependencyParsing不是使用各种类型的短语，而是直接通过单词与其他的单词关系表示句子的结构，显示哪些单词依赖于(修饰或是其参数)哪些其他单词。

如图所示， look是整个句子的根源（也即root依赖于look），look依赖于crate（或者说crate是look的依赖）in,the,large都是crate的依赖inthekitchen是crate的修饰in,the都是kitchen的依赖bythedoor是crate的依赖 那么我们为什么需要句子结构呢？ 为了能够正确地解释语言，我们需要理解句子结构人类通过将单词组合成更大的单元来传达复杂的意思，从而交流复杂的思想我们需要知道什么与什么相关联除非我们知道哪些词是其他词的参数或修饰词，否则我们无法弄清楚句子是什么意思 DependencyGrammarandTreebanks DependencyStructure展示了词语之前的依赖关系,通常用箭头表示其依存关系，有时也会在箭头上标出其具体的语法关系，如是主语还是宾语关系等。

DependencyStructure有两种表现形式，一种是直接在句子上标出依存关系箭头及语法关系，如：另一种是将其做成树状机构（DependencyTreeGraph） 箭头通常标记(type)为语法关系的名称(主题、介词对象、apposition等)。

依赖关系标签的系统，例如universaldependency通用依赖箭头连接头部(head)(调速器,上级,regent)和一个依赖(修饰词,下级,下属) A→依赖于A的事情通常,依赖关系形成一棵树(单头无环连接图)人们对箭头指向的方式不一致：有些人把箭头朝一个方向画；有人是反过来的 Tesnière从头开始指向依赖，本课使用此种方式通常添加一个伪根（root）指向整个句子的头部，这样每个单词都精确地依赖于另一个节点 DependencyParsing可以看做是给定输入句子[公式]（其中[公式]常常是fakeROOT，使得句子中每一个词都依赖于另一个节点）构建对应的DependencyTreeGraph的任务。

构建这个树一个有效的方法是Transition-basedDependencyParsing。

Transition-baseddependencyparsing 贪婪判别依赖解析器greedydiscriminativedependencyparser的一种简单形式解析器执行一系列自底向上的操作大致类似于shift-reduce解析器中的“shift”或“reduce”，但“reduce”操作专门用于创建头在左或右的依赖项解析器如下： 栈σ以ROOT符号开始，由若干 w i w_i wi​组成。

缓存β以输入序列开始，由若干 w i w_i wi​组成。

一个依存弧的集合A，一开始为空。

每条边的形式是( w i w_i wi​,r, w j w_j wj​)，其中r描述了节点的依存关系一组操作。

最终目标是σ=[ROOT],β=ϕ，A包含了所有的依存弧。

state之间的transition有三类： SHIFT：将buffer中的第一个词移出并放到stack上。

LEFT-ARC：将 ( w i , r , w j ) (w_i,r,w_j) (wi​,r,wj​)加入边的集合A，其中 w i w_i wi​是stack上的次顶层的词， w j w_j wj​是stack上的最顶层的词。

RIGHT-ARC:将 ( w i , r , w j ) (w_i,r,w_j) (wi​,r,wj​)加入边的集合A，其中 w i w_i wi​是stack上的次顶层的词， w j w_j wj​是stack上的最顶层的词。

我们不断的进行上述三类操作，直到从初始态达到最终态。

在每个状态下如何选择哪种操作呢？当我们考虑到LEFT-ARC与RIGHT-ARC各有|R|（|R|为r的类的个数）种类，我们可以将其看做是class数为2|R|+1的分类问题，可以用SVM等传统机器学习方法解决。

对于这个任务的评估，我们有metric，一个是LAS（labeledattachmentscore）即只有arc的箭头方向以及语法关系均正确时才算正确，以及UAS（unlabeledattachmentscore）即只要arc的箭头方向正确即可。

示例如下：图中，在评价UAS时可以看到，只有第三行的5->3预测错误为4->3，所以UAS=80%；而在评价LAS时，由于第3行箭头预测错误、第4,5行标签预测错误。

所以LAS=40%。

Neuraldependencyparsing 传统的Transition-basedDependencyParsing对featureengineering要求较高，我们可以用神经网络来减少humanlabor。

将每个单词表示为一个d维稠密向量（如词向量）相似的单词应该有相近的向量part-of-speechtags词性标签(POS)和dependencylabels依赖标签也表示为d维向量较小的离散集也表现出许多语义上的相似性。

NNS(复数名词)应该接近NN(单数名词)num(数值修饰语)应该接近amod(形容词修饰语)。

对于NeuralDependencyParser，其输入特征通常包含三种： stack和buffer中的单词及其dependentword。

单词的Part-of-Speechtag。

描述语法关系的arclabel。

我们根据堆栈/缓冲区位置提取一组token：我们将其转换为embeddingvector并将它们联结起来作为输入层，再经过若干非线性的隐藏层，最后加入softmaxlayer得到每个class的概率。

利用这样简单的前馈神经网络，可以减少featureengineering并提高准确度。

参考 CS224N笔记(五)：DependencyParsing,link05LinguisticStructureDependencyParsing,link 11好好学习，天天向上 关注 关注 1 点赞 踩 0 评论 3 收藏 打赏 扫一扫，分享内容 点击复制链接 专栏目录 参与评论 您还未登录，请先 登录 后发表或查看评论 相关推荐 ©️2022CSDN 皮肤主题：大白 设计师：CSDN官方博客 返回首页 11好好学习，天天向上 CSDN认证博客专家 CSDN认证企业博客 码龄9年 暂无认证 75 原创 10万+ 周排名 3万+ 总排名 8万+ 访问 等级 1403 积分 64 粉丝 139 获赞 98 评论 249 收藏 私信 关注 热门文章 Pytorch中“RuntimeError:Input,outputandindicesmustbeonthecurrentdevice“问题解决 8716 Python中pip与conda使用清华镜像 7667 Windows环境下python3.7出现ssl或者tsl不可用的解决方法 6700 win10下快速批量生成文件夹的方法记录 6123 记一次VMware14.0中ubuntu18.04不能连接网络问题（NAT方式）的解决方法 4824 分类专栏 自然语言处理 38篇 NLP 36篇 Text-to-SQL 13篇 论文投稿 2篇 Linux 5篇 VScode 1篇 句法分析 4篇 jupyterlab 1篇 Pytorch 15篇 Bert 1篇 Java 1篇 Latex 1篇 MATLAB 5篇 Android Python 9篇 Gephi 1篇 数据可视化 1篇 VMware Windows技巧 1篇 云计算 2篇 OpenStack 3篇 最新评论 Windows环境下python3.7出现ssl或者tsl不可用的解决方法 owlmo: 折腾了好久，终于用楼主的方法解决了，感谢楼主！ EMNLP2022投稿要求 努力喽: 你好，我想问下emnlp的提交地址在哪儿，从官网进去怎么找不到 COLING2022提交要求与ACL模板要求记录 帅裂苍穹xxx: 主办方回我了，说他们意识到了这个问题，然后没时间修复。

只要我们保证作者对论文负责就行 COLING2022提交要求与ACL模板要求记录 帅裂苍穹xxx: AllauthorsshouldfulfiltheVancouverConventionrecommendationsonauthorshipinordertobeaddedtoaCOLING2022paper.Bysubmittingamanuscript,youcertifythatitmeetsthisrequirement.请问这句话要我们做什么不？ COLING2022提交要求与ACL模板要求记录 柒柒柒七: 想问你下titlepage是什么意思要交这个没懂是叫什么 您愿意向朋友推荐“博客详情页”吗？ 强烈不推荐 不推荐 一般般 推荐 强烈推荐 提交 最新文章 论文笔记：HIE-SQL:HistoryInformationEnhancedNetworkforContext-DependentText-to-SQLSemanticParsing 论文笔记：PayMoreAttentiontoHistory:AContextModelingStrategyforConversationalText-to-SQL 论文笔记：SCORE:Pre-trainingforContextRepresentationinConversationalSemanticParsing 2022年10篇 2021年48篇 2020年2篇 2019年9篇 2018年2篇 2017年5篇 目录 目录 分类专栏 自然语言处理 38篇 NLP 36篇 Text-to-SQL 13篇 论文投稿 2篇 Linux 5篇 VScode 1篇 句法分析 4篇 jupyterlab 1篇 Pytorch 15篇 Bert 1篇 Java 1篇 Latex 1篇 MATLAB 5篇 Android Python 9篇 Gephi 1篇 数据可视化 1篇 VMware Windows技巧 1篇 云计算 2篇 OpenStack 3篇 目录 打赏作者 11好好学习，天天向上 你的鼓励将是我创作的最大动力 ¥2 ¥4 ¥6 ¥10 ¥20 输入1-500的整数 余额支付 (余额：--) 扫码支付 扫码支付：¥2 获取中 扫码支付 您的余额不足，请更换扫码支付或充值 打赏作者 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。

2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值