https://mattturck.com/bigdata2018/…

2018年是改革开放四十周年,也是互联网发展的重要一年.经历了区块链,人工智能潮的互联网行业逐渐迎来了冬天.这一年里有无数的事件发生着,正好学了python数据处理相关,那么就用python对18年的互联网事件进行一个简单的记录与分析.这里主要用了wordcloud和jieba. 首先来看一个数据表,这份excel表单几乎就是2018全年互联网圈发生的所有事件了. 那么现在想要分析着数万条数据,可以用什么方法呢,我们首先会想到用可视化来呈现,图表展示也许会更清晰,但是这里我们选择用python中…

The Difference Between Big Data and a Lot of Data The term “big data” has been around for a while now, but I still come across people who make the same basic mistake when someone asks them to explain what exactly it is. The problem, as I have pointed…

本文内容来自网络,对原文内容和格式做了细微调整,并配图以便阅读理解. 如想查看初始信息,请点击原文. 00 引言 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的. 可以把它比作一个厨房所以需要的各种工具.锅碗瓢盆,各有各的用处,互相之间又有重合. 可以用汤锅直接当碗吃饭喝汤,可以用小刀或者刨子去皮.但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择. 01 - HDFS(Hadoop Distributed Fil…

论文信息 论文标题:SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation论文作者:Jun Xia, Lirong Wu, Jintao Chen, Bozhen Hu, Stan Z. Li论文来源:2022, WWW论文地址:download 论文代码:download 1 Introduction 对比学习种数据增强存在的三个问题: First, the augmentati…

一.变量.元组的赋值和循环删除 (1)多个变量同时赋值 #多个变量赋值a,b,c,d=1,2,3,4x=y=m=n=520print(a,b,c,d,x,y,m,n) (2)不引入第三方变量下,交换a.b赋值 a,b=1,2 #python方法a,b=b,a #python后台会引入第三方变量 #数学方法(字符串不适用)a=a+bb=a-ba=a-b (3)变量重新复制之后寻址地址会改变 a='hahah'b=a #list中,b和a指向同一内存地址 print('赋值之前a:',id(a))p…

转自:http://www.cnblogs.com/zhangxinqi/p/9210211.html 阅读目录 1.python库lxml的安装 2.XPath常用规则 (1)读取文本解析节点 (2)读取HTML文件进行解析 (3)获取所有节点 (4)获取子节点 (5)获取父节点 (6)属性匹配 (7)文本获取 (8)属性获取 (9)属性多值匹配 (10)多属性匹配 (11)XPath中的运算符 (12)按序选择 (13)节点轴选择 (14)案例应用:抓取TIOBE指数前20名排行开发语言 l…

阅读目录 1.python库lxml的安装 2.XPath常用规则 (1)读取文本解析节点 (2)读取HTML文件进行解析 (3)获取所有节点 (4)获取子节点 (5)获取父节点 (6)属性匹配 (7)文本获取 (8)属性获取 (9)属性多值匹配 (10)多属性匹配 (11)XPath中的运算符 (12)按序选择 (13)节点轴选择 (14)案例应用:抓取TIOBE指数前20名排行开发语言 lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高…

背景 公司线上部署采用docker swarm方式,这几天线上项目时间突然出了问题(ps:第一反应,我去,这也能出问题,代码里肯定藏毒了),线上时间总跟实际时间差八个小时.本着速战速决的原则,把所有时间减了八个小时,夜晚一上线,卧槽,没生效,大佬给我"指点"一通后我幡然醒悟.得,总结一下问题 问题分析 宿主机采用的是cst时间 [root@test-env1 data]# date 2018年 11月 27日 星期二 11:12:41 CST docker容器里采用的是utc时间 ro…

influxdb 备份与恢复 参考: influxdb backup and restore 环境: influxdb v1.6.0 使用influx自动的控制台进行 I. 备份 备份命令 influxd backup [ -database <db_name> ] --> 指定需要备份的数据库名 [ -portable ] --> 表示在线备份 [ -host <host:port> ] --> influxdb服务所在的机器,端口号默认为8088 [ -ret…