李宏毅.DLHLP2020（完结） - CSDN博客

Parsing有两种，一种是Constituency Parsing，一种是Dependency Parsing，第一种上节已讲，这节来看后面这个。

... ubuntu16。

04安裝谷歌等中文輸入法. 李宏毅DLHLP.24.ConstituencyParsing.2/2 oldmao_2000 于 2020-12-0210:18:15 发布 201 收藏 分类专栏： 李宏毅.DLHLP2020（完结） 版权声明：本文为博主原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/oldmao_2001/article/details/110453633 版权 李宏毅.DLHLP2020（完结） 专栏收录该内容 31篇文章 25订阅 订阅专栏 文章目录 介绍DependencyParsing概念任务描述法1：Graph-basedApproach 法2：Transition-basedApproach 介绍 本门课程是2020年李宏毅老师新课：DeepLearningforHumanLanguageProcessing（深度学习与人类语言处理）课程网站B站视频公式输入请参考：在线Latex公式Parsing有两种，一种是ConstituencyParsing，一种是DependencyParsing，第一种上节已讲，这节来看后面这个。

DependencyParsing概念 相对于ConstituencyParsing是关心两两之间相邻的token是否存在constituent关系： DependencyParsing则关心句子中存在某种关系的token，而位置可以不相邻：例如上图中book和flight有某种关系，我们把这种关系中的起始词称为：head，后面的称为：dependent。

下图列举了常见的词汇关系： 任务描述 把一个句子变成一个无向图，图中节点为词，边为词之间的关系，例如：将这句话每个词关系标记起来如下图所示，注意有箭头，分别代表了起始词和结束词，里面每一个词都有对应一个起始词，除了want，因此为want加上一个ROOT，可以看到这个图实际上是一个树形结构，且有如下特征：•Allthewordshaveoneincomingedge,exceptROOT.•ThereisauniquepathfromeachwordtoROOT. 法1：Graph-basedApproach 跟ConstituencyParsing一样，也是训练一个分类器，吃两个token，第一个分类器吐出这两个词是否有指向关系，如果有那么第二个分类器吐出指向关系是什么类型。

具体例子如下图：假设我们有N个词，那么分类器最多要判断 ( N + 1 ) 2 (N+1)^2 (N+1)2次（1是哪个ROOT，这里没有减去自己和自己进行匹配，ROOT被别的词指向的次数）下图是18年某篇文章的实作：在实作上是用token的独热编码，丢BiLSTM里面（那时还没有BERT）然后得到每个token的特征表示，然后将两个token的特征表示丢进FC，进行lineartransform，然后计算一个分数（看上去与attention很像），然后根据分数判断两个token是否有指向关系。

与ConstituencyParsing同样的，这个方法也会存在有时候生成结果无法构成树，例如：可以看到 W 2 W_2 W2​有两个父节点（两个词都指向它），这个是不合理的，在ConstituencyParsing中，是用CKY算法来解决这个问题，这里我们可以用spanningtree来解决（熟悉路由与交换的知道，这个是解决路由环路的一个协议。

）例如：这里分类器为每个关系会输出一个分数，下面把两种情况分别列举，然后看哪个的分数高：这里的例子只有两个词，比较简单，如果词很多的时候穷举效率比较低，就要用专门的MaximumSpanningTree算法来解。

法2：Transition-basedApproach 与ConstituencyParsing一样，也是可以用Transition-based方法来解这个问题，下面是具体例子，同样有：Astack,abuffer,someactions具体的训练方法很早就有，基本思想也是把stack，buffer，actions丢到模型里面去训练比较有名的是：SyntaxNet（谷歌16年5月的作品），里面有个动画，可以自己看看：https://ai.googleblog.com/2016/05/announcing-syntaxnet-worlds-most.html当然后面还有更好的模型：StackPointer等，就不展开了。

oldmao_2000 关注 关注 0 点赞 踩 0 评论 0 收藏 打赏 扫一扫，分享内容 点击复制链接 专栏目录 参与评论 您还未登录，请先 登录 后发表或查看评论 ©️2022CSDN 皮肤主题：技术黑板 设计师：CSDN官方博客 返回首页 oldmao_2000 CSDN认证博客专家 CSDN认证企业博客 码龄15年 人工智能领域新星创作者 427 原创 2187 周排名 2298 总排名 42万+ 访问 等级 7421 积分 5969 粉丝 534 获赞 269 评论 2329 收藏 私信 关注 热门文章 深度之眼Paper带读笔记NLP.10：DCNN 13148 10.第十一章.风险管理 9874 17.第二十三章.测试管理 9332 等保2.0测评综合得分计算 9184 等保2.0.第十章.等保2.0三级解决方案（上） 5981 分类专栏 软件项目管理（完结） 21篇 CS224W（完结） 19篇 Windows网络编程 1篇 TCP篇 7篇 UDP篇 7篇 统计学习方法 36篇 杂项 6篇 图机器学习笔记 2篇 李宏毅.DLHLP2020（完结） 31篇 网络空间安全 等保中级测评师相关 20篇 等保1.0测评培训（完结） 7篇 等保2.0培训（完结） 12篇 等保2.0实操（完结） 18篇 ML数学基础（完结） 19篇 NLPBootcamp（完结） 30篇 人工智能项目实战笔记（太监） 9篇 Pytorch框架（完结） 22篇 李宏毅机器学习笔记 56篇 李飞飞CS231n学习笔记（太监） 12篇 Paper带读 7篇 NLPBaseline（完结） 11篇 NLP 30篇 图神经网络GNN（完结） 12篇 小班课笔记 27篇 数据结构和算法 18篇 最新评论 深度之眼Paper带读笔记GNN.06.GAT oldmao_2000: 嗯，已改 深度之眼Paper带读笔记GNN.06.GAT 遥泠: 大佬，公式5中，为什么两个H的下标都是i，应该有一个是j吧 第三周.02.HAN算法详解 qq_41701279: 恩...那可以这么理解吗？半监督模型以有监督方式训练，可以评估这个半监督模型对某些任务处理的性能？ 第三周.02.HAN算法详解 oldmao_2000: 半监督是有部分label，当然对于模型而言，有label效果会更好一下，否则你让学生做题目，不告诉他答案，他提高效果不好，但也不能说没有效果 第三周.02.HAN算法详解 qq_41701279: 十分感谢博主大大！我还有一个疑惑，原作者说HAN是一个半监督学习模型，但是我看它的Pytorch的源码，用到ACM数据集训练，我看它测试集的节点也是有label的，感觉还是进行一个监督学习的训练，怎么体现HAN是一个半监督学习模型呢？ 您愿意向朋友推荐“博客详情页”吗？ 强烈不推荐 不推荐 一般般 推荐 强烈推荐 提交 最新文章 剪映初体验 py2neo+Neo4j初体验 番外.挣值分析 2022年20篇 2021年134篇 2020年162篇 2019年112篇 目录 目录 分类专栏 软件项目管理（完结） 21篇 CS224W（完结） 19篇 Windows网络编程 1篇 TCP篇 7篇 UDP篇 7篇 统计学习方法 36篇 杂项 6篇 图机器学习笔记 2篇 李宏毅.DLHLP2020（完结） 31篇 网络空间安全 等保中级测评师相关 20篇 等保1.0测评培训（完结） 7篇 等保2.0培训（完结） 12篇 等保2.0实操（完结） 18篇 ML数学基础（完结） 19篇 NLPBootcamp（完结） 30篇 人工智能项目实战笔记（太监） 9篇 Pytorch框架（完结） 22篇 李宏毅机器学习笔记 56篇 李飞飞CS231n学习笔记（太监） 12篇 Paper带读 7篇 NLPBaseline（完结） 11篇 NLP 30篇 图神经网络GNN（完结） 12篇 小班课笔记 27篇 数据结构和算法 18篇 目录 打赏作者 oldmao_2000 你的鼓励将是我创作的最大动力 ¥2 ¥4 ¥6 ¥10 ¥20 输入1-500的整数 余额支付 (余额：--) 扫码支付 扫码支付：¥2 获取中 扫码支付 您的余额不足，请更换扫码支付或充值 打赏作者 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。

2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值