A. operations on Server side 1. ensure hadoop and hbase are working properly 2. install thrift:  apt-get install thrift 3. download hbase source code package: HERE(hbase 0.98 src) . Then extract package to /home/hadoop/hbase-0.98.12.1 4. cd /home/had…

0.课程地址与说明 1.课程地址:https://www.coursera.org/learn/python-network-data/home/welcome 2.课程全名:Using Python to Access Web Data 3.建议使用Python2进行学习 4.仅第一周有中文字幕,其它的只有英文字幕,只要英语有四级基本没有太大问题 5.本人使用的工具是蓝灯,做作业时可以用Google翻译插件帮帮忙 注:第一周讲课程说明和安装Python,无笔记 1.Regular Expres…

方法 1: Restoring HBase data by importing dump files from HDFS The HBase Import utility is used to load data that has been exported by the Export utility into an existing HBase table. It is the process to restore data from the Export utility backup sol…

There are two strategies for backing up HBase:1> Backing it up with a full cluster shutdown2> Backing it up on a live cluster3> Backing Up and Restoring HBase Data A full shutdown backup has to stop HBase (or disable all tables) at first, then us…

1. 问题背景 使用Pycharm连接远程服务器端pipenv虚拟环境的python解释器,运行python spark脚本时报错如下错误: 2018-09-12 23:56:00 ERROR Executor:91 - Exception in task 0.0 in stage 0.0 (TID 0)org.apache.spark.SparkException: Error from python worker: /usr/bin/python: can't decompress data…

Coursera课程<Using Python to Access Web Data> 密歇根大学 Week6 JSON and the REST Architecture 13.5 JavaScript Object Notation(JSON) JSON是一种相比于XML更简单的格式,而且现在在互联网上非常普遍.XML是很强大,但是很多时候我们并不需要使用这么强大的格式,我们就能完成我们的任务. import json data = '''{ "name": "…

Coursera课程<Using Python to Access Web Data > 密歇根大学 Charles Severance Week2 Regular Expressions 11.1 Regular Expressions 11.1.1 Python Regular Expression Quick Guide ^ 匹配一行的开头 $ 匹配一行的末尾 . 匹配任何字符 \s 匹配空白字符 \S 匹配任何非空白字符 ***** 重复一个字符0次或多次 *? 重复一个字符0次或多次…

Coursera课程<Using Python to Access Web Data> 密歇根大学 Week5 Web Services and XML 13.1 Data on the Web 在网络上我们需要用一种固定的模板进行交流,python将我们的内容serialize成这种模板,然后再de-serialize让另外一种语言读懂. 现在有两种交流模板:XML和JSON. 13.2 Extensible Markup Language(XML) XML也就是可扩展标记语言(Extens…

Coursera课程<Using Python to Access Web Data> 密歇根大学 Week4 Programs that Surf the Web 12.3 Unicode Characters and Strings Representing Simple Strings 使用ASCII码,每个字符都被一个0到256的数字表示来存在8bits的内存里. 使用ord()函数可以查询,指定字符所对应的ASCII码. >>> print(ord('H')) 72…

Coursera课程<Using Python to Access Web Data> 密歇根大学 Week3 Networks and Sockets 12.1 Networked Technology Transport Control Protocol(TCP) TCP端口就是为TCP协议通信提供服务的端口.TCP(Transmission Control Protocol),TCP是一种面向连接(连接导向)的.可靠的.基于字节流的运输层(Transport layer)通信协议. 在计…