基于50W携程出行攻略构建事件图谱(含码源):交通工具子图谱、订酒店吃饭事件图谱等
基于50W携程出行攻略构建事件图谱(含码源):交通工具子图谱、订酒店吃饭事件图谱等
- 项目构成
- 本项目由两个部分的组成,具体包括语料的获取以及基于语料的事件挖掘两个部分,具体项目目录包括:
- news_spider:基于scrapy的游记采集脚本
- event_graph:基于依存句法与顺承模式的顺承事件抽取脚
- image:游记顺承事件图谱效果图
1.出行领域语料的获取
语料来源:携程出行攻略
时间范围:2018年7月14日之前
采集方式:使用scrapy编写爬虫脚本进行抓取
采集规模:共采集505767篇,量级50W
采集脚本目录:news_spider/travelspider
语料举例:
107330 一路向南——第二篇相逢南通(自驾游) - 游记攻略【携程攻略】
107331 彩云之南—云上的蜜月之旅 - 丽江游记攻略【携程攻略】
107332 甘肃游记之玛曲郎木寺 - 碌曲游记攻略【携程攻略】
107333 拍客白沙行 - 舟山游记攻略【携程攻略】
107334 九华山-沐浴在佛恩下的XXX - 九华山游记攻略【携程攻略】
107335 垦丁夏季活动 - 垦丁游记攻略【携程攻略】
107336 行走在台湾(向隅版)---世外桃源之我们的家(九份民宿) - 九份游记攻略【携程攻略】
107337 卫赛节马来西亚行 - 马六甲州游记攻略【携程攻略】
107338 蓝天下的嘉峪关 - 嘉峪关游记攻略【携程攻略】
107339 人生一定要登一次雪山---都日峰 - 四川游记攻略【携程攻略】
107340 八月,青海湖不远 - 海北游记攻略【携程攻略】
107341 #冬季北京# 帝都极冷天去首富的酒店避避寒 - 北京游记攻略【携程攻略】
107342 圣地西藏 - 青海湖游记攻略【携程攻略】
107343 孩子,妈妈想让你见识更多的繁华世界 - 深圳游记攻略【携程攻略】
107344 顶级奢华,舍我其谁! - 澳门游记攻略【携程攻略】
107345 旅行、不需要走远!美景就在身边 - 江门游记攻略【携程攻略】
107346 安安静静,不言不语都是好风景 - 厦门游记攻略【携程攻略】
107347 邂逅则天故里 行走美丽利州 体验师带你看中国女儿节 - 广元游记攻略【携程攻略】
107348 台湾,可以这样玩--15日环岛自由行全记录 - 台北游记攻略【携程攻略】
107349 让我记忆深刻的厦门--详细版 - 厦门游记攻略【携程攻略】
107350 上海地鐵站 - 上海游记攻略【携程攻略】
107351 逃离雾霾,带着“马拉多纳”去腾冲 - 腾冲游记攻略【携程攻略】
107352 在我心上用力地开一 - 四川游记攻略【携程攻略】
107353 冬季到鄱阳湖边的余干县看鸟,多张美图记录环湖游全过程 - 余干游记攻略【携程攻略】
107354 2014.十一沈阳,本溪老边沟,枫叶大道,丹东,不走重复路,古迹,景色5日穷游 - 沈阳游记攻略【携程攻略】
107355 库不齐老牛湾之户外行走 - 库布齐沙漠游记攻略【携程攻略】
2.基于出行语料的顺承事件图谱构建
2.1, 顺承事件的抽取
- event_extract.py, 思想步骤如下:
- 输入游记文本
- 对游记进行长句切分
- 基于构造的顺承关系模板,进行顺承前后部分提取, 转入4)
- 对3)得到的部分进行短句处理,转入5)
- 对4)得到的短句进行谓词性短语提取
- 对5)得到的谓词性短语向上汇聚,得到一个长句的谓词性短语有序集合
- 对6)步骤得到的谓词性短语集合,以滑窗方式构造顺承关系事件对
- 对步骤7)得到的顺承事件对进行汇总,最终得到顺承事件库
- 对8)进行事件进行整合,去除过低频次的事件,构造标准顺承关系库
2.2, 顺承事件图谱的展示
10)使用VIS插件进行顺承关系图谱构建与展示, event_graph.py
11)由于VIS作为一个封装的JS库,因此生成的顺承图谱在项目中暂时设置到500,见travel_event_graph.html
3.顺承关系图谱效果
3.1 总体图谱样式
以500个顺承事件, 进行顺承事件图谱展示,结果是一张事件网络,这是一个大的顺承关系图谱,由众多小子图谱构成
3.2 去丽江子图谱
该子图谱围绕"去丽江旅游"这一出行事件为核心形成的事件群:
3.3飞机路线子图谱
该子图谱显示了选择飞机进行出行形成的事件序列
3.4火车路线子图谱
该子图谱显示了选择火车进行出行形成的事件序列
3.5订酒店事件图谱
该子图谱描述了一个"预定酒店不愉快事件",从预定到失望到总结,在这条顺承事件链表现出来
3.6做饭事件图谱
该子图谱表示了一个"做饭"场景下的顺承事件,感觉也很有意思
4.总结
- 该项目只是一个基于50W文章领域语料,运用简单提取方式形成的顺承关系图谱demo,还有很多不足
- 该项目目前是形成了事件节点为326781个, 顺承事件对为543580条,分别为30W和50W的图谱规模
- 对于谓词性短语进行事件表示是事件表示的一种方式,本方法只采用VOB关系进行提取,这种方式还有待改进
- 以3)得到的结果中,还存在大量噪声,这一方面准确率受依存句法的准确性限制,另一方面该依存关系可能还相对单一,不够准确
- 在构造顺承事件序列的方法,本项目采用的是长句为单位下的滑窗方式进行构造,这个方式还有待改进
- 基于目前形成的顺承关系图谱还有待于进一步挖掘,可以在此基础上完成更多有价值的信息挖掘
项目码源链接
基于50W携程出行攻略构建事件图谱(含码源):交通工具子图谱、订酒店吃饭事件图谱等的更多相关文章
- 自动化测试_百度--糯米中--携程-出行<一>
1:接下来我们看看思路 和相应的功能 使用python+selenium+unittest完成测试脚本 打开chrome浏览器,窗口最大化,设置等待时间10s 打开百度首页 鼠标移动到更多产品,点击 ...
- Java性能调优攻略全分享,5步搞定!(附超全技能图谱)
对于很多研发人员来说,Java 性能调优都是很头疼的问题,为什么这么说?如今,一个简单的系统就囊括了应用程序.数据库.容器.操作系统.网络等技术,线上一旦出现性能问题,就可能要你协调多方面组件去进行优 ...
- 超时空英雄传说2复仇魔神完全攻略&秘技
╓─╥───────────────────────────────────────────────────╥─╖ ║ ║ 超 時 空 英 雄 傳 說 2 ║ ║ ║ ║ --復 仇 魔 神-- ║ ...
- 主程的晋升攻略(3):IP、DNS和CDN
有段时间我面试程序猿时,喜欢问这个问题:局域网IP有哪些IP段?由这个问题再追问NAT(网络地址转换). 为什么不是每一个设备一个公网IP? 先说个关于QQ的小故事,最早开发QQ时.小马哥他们也没想到 ...
- 基于DCMTK的DICOM相关程序编写攻略
2008年09月10日 星期三 15:35 基于DCMTK的DICOM相关程序编写攻略 前言: 由于现在的医学影像设备的图像存储和传输正在逐渐向DICOM标准靠拢,在我们进行医学图像处理的过程中,经常 ...
- CentOS 7 搭建基于携程Apollo(阿波罗)配置中心单机模式
Apollo(阿波罗)是携程框架部门研发的配置管理平台,能够集中化管理应用不同环境.不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限.流程治理等特性.服务端基于Spring Boot ...
- 商业研究(20):滴滴出行,进军海外包车?与OTA携程和包车创业公司,共演“三国杀”?看看分析师、投资人和权威人士等10个人的观点碰撞
小雷友情提示:创业有风险,投资需谨慎. 前一篇文章,在探讨境外游创业公司-皇包车和易途8的时候,提到"滴滴如果进军海外包车,为海外华人提供打车和包车服务,有较大可能对海外包车公司 ...
- 主程的晋升攻略(4):TCP、消息分包和协议设计
在<主程的晋升攻略(3):IP.DNS和CDN>中,一次网络请求经过DNS解析知道了目的IP,如今就要发出网络包,这里我们说一说TCP的相关话题. TCP是一种流式协议 讲网络编程的教科书 ...
- 2020最新nginx+gunicorn+supervisor部署基于flask开发的项目的生产环境的详细攻略
本攻略基于ubuntu1804的版本,服务器用的华为云的服务器,python3(python2已经在2020彻底停止维护了,所以转到python3是必须的)欢迎加我的QQ6398903,或QQ群讨论相 ...
- Win10系统下安装编辑器之神(The God of Editor)Vim并且构建Python生态开发环境(2020年最新攻略)
原文转载自「刘悦的技术博客」https://v3u.cn/a_id_160 众神殿内,依次坐着Editplus.Atom.Sublime.Vscode.JetBrains家族.Comodo等等一众编辑 ...
随机推荐
- PlayWright安装及使用
PlayWright是由业界大佬微软(Microsoft)开源的端到端 Web 测试和自动化库,可谓是大厂背书,功能满格,虽然作为无头浏览器,该框架的主要作用是测试 Web 应用,但事实上,无头浏览器 ...
- vue 基础学习 一
1. vue 使用快速入门三步走 (1) 新建 HTML 页面,引入 Vue.js文件 <!DOCTYPE html> <html> <head> <meta ...
- 第04讲:Flink 常用的 DataSet 和 DataStream API
Flink系列文章 第01讲:Flink 的应用场景和架构模型 第02讲:Flink 入门程序 WordCount 和 SQL 实现 第03讲:Flink 的编程模型与其他框架比较 第04讲:Flin ...
- 30例 | 一文搞懂python日期时间处理
前言 datetime是python的内置模块,用来处理日期和时间. 该模块常用的类有: 类名 功能说明 date 日期对象 time 时间对象 datetime 日期时间对象 timedelta 时 ...
- win10系统怎么修改host文件
1.先根据下面路径找到host文件 C:\Windows\System32\drivers\etc 2.把HOST文件复制一份出来 3.修改完成后,直接替换就可以
- Element 动态表头渲染表格
element 中的table表头动态渲染 https://blog.csdn.net/heixiuheixiu666/article/details/104705024/ Element 动态表头渲 ...
- SVN被锁定的处理方案
当svn提交文件时,如下提示,文件被锁定:
- 如何在vim创建的脚本内添加固定的头部信息
编辑以下的文件: vim /etc/vimrc 在脚本的结尾添加如下内容: autocmd BufNewFile *.sh,*.script exec ":call WESTOS()&quo ...
- 人人都会Kubernetes(二):使用KRM实现快速部署服务,并且通过域名发布
1. 上节回顾 上一小节<人人都会Kubernetes(一):告别手写K8s yaml,运维效率提升500%>介绍了KRM的一些常用功能,并且使用KRM的DEMO环境,无需安装就可以很方便 ...
- 机器学习-线性分类-支持向量机SVM-SMO算法代码实现-15
1. alpha2 的修剪 if y1 != y2 : α1 - α2 = k # 不用算k的具体大小 if k > 0: # 上图的左 下这条线 α2 的区间 (0, c-k) k < ...