import urllib.request import re import time num=input("输入日期(20150101000):") def openpage(url): html=urllib.request.urlopen(url) page=html.read().decode('gb2312') return page def getpassage(page): passage = re.findall(r'<p class="MsoNorma

1.简单粗暴来讲: text 返回的是unicode 型的数据,一般是在网页的header中定义的编码形式. content返回的是bytes,二级制型的数据. 如果想要提取文本就用text 但是如果你想要提取图片.文件,就要用到content 2.详细一点来讲: 用了request.get方法后,返回一个response对象,这个对象里面存的是服务器返回的所有信息,包括响应头,响应状态码等. 其中返回的网页部分会存在.content和.text两个对象中.如果需要获得这些网页原始数据,我们可以

第四章通过REmap包完成基于map分布图示例,前面提到REmap基于Echart2.0, 一方面在移动终端适应效果差,另一方面REmap提供的热力图仅支持全国及省市大版块map,基于上面的原因,参考 http://echarts.baidu.com/examples.html#chart-type-heatmap ,利用第四章清洗后的数据结合Echart3热力图控件开发完整可缩放地图的热力分布. 目录: 效果图 在线构建Echart3脚本包 R热力图页面模板 R脚本 效果图: 在线构建Echa

前几章对R语言的运行原理.基本语法.数据类型.环境部署等基础知识作了简单介绍,本节将结合具体案例进行验证测试. 案例场景:从互联网下载全国三甲医院数据,以地图作为背景,展现各医院在地图上的分布图.全国三甲医院数据来源 http://www.wxmp.cn/cms/detail-51610-23480-1.html  目录: map包研究 效果图 数据清洗 R开发 R脚本部署 map包研究: CRAN上地图的一个常用包就是maps (https://cran.r-project.org/web/p

R 是一门拥有统计分析及作图功能的免费软件,主要用于数学建模.统计计算.数据处理.可视化等方向.据 IEEE Spectrum发布的2016年编程语言前10位排名来看,R语言由2015年排名第6位上升级2016年的第5位.目前在CRAN 上发布的算法包已经超过8000+多个.R体系涉及到高等数据.概率学.统计学.IT技术等多种知识的综合应用,虽然看起来超级复杂,但学过程还是得从基础开始. 解释:CRAN (The Comprehensive R Archive NetWork): 提供下载软件安

#---------------------------------------------------------------------------- # T Y P E L I B R A R I E S #---------------------------------------------------------------------------- def LoadTil(name): """ Load a type library @param name:

安装R $sudo apt-get update $sudo apt-get install r-base $sudo apt-get install r-base-dev 安装一些可能的依赖包 $sudo add-apt-repository -y ppa:opencpu/imagemagick $sudo apt-get update $sudo apt-get install -y libmagick++-dev $sudo apt-get install libcurl4-openssl

回车.换行的区别   他们间的区别其实是个回车换行的问题 先来段历史 回车”(Carriage Return)和“换行”(Line Feed)这两个概念的来历和区别. 符号        ASCII码        意义 \n               10          换行 \r                13            回车CR 在计算机还没有出现之前,有一种叫做电传打字机(Teletype Model 33,Linux/Unix下的tty概念也来自于此)的玩意,每秒

1.读,r r+ rb r+b read() 全部读取 read(n) 读取一部分 r模式下:n 个字符. rb模式下:n个 字节. readline() 按行读取. readlines() 返回个列表,列表中的每个元素是文件的每一行. for 循环. 2.写w w+ wb w+b 如果没有文件,创建文件写入内容 如果有文件,清空内容,写入新内容. 3.追加a a+ ab a+b 如果没有文件,创建文件写入内容 如果有文件,在文件的最后追加新内容. 带b的模式:操作的非文本类的文件. 4.其他操

Caused by: org.apache.velocity.exception.ParseErrorException: Lexical error, Encountered: <EOF> after : "\'/order/pay?activity=\" + activityId);\r\n }*/\r\n</script>\r\n#end\r\n" at /activity/index_list.html[line 129, column 0]

前段时间老板安排我修复一个邮件服务器后台C程序的bug,这个功能是邮件强制发送功能,从邮件管理后台将垃圾邮件发送出去. 因为服务器是debian系统,所以我用dbg配合日志大致跟踪后,追踪到了读取邮件文件后在while循环中使用send发送出去,代码如下: numofreads = 0; //fd为邮件文件指针,读到buf内,大小为MAXBUFSIZE){ numofreads++; //下面开始发送,不管走哪个if判断,都是使用send循环发送buf中的内容 ){ send(psd, buf,

前言 R对windows使用很友好,对Linux来说充满了敌意.小数据可以在windows下交互操作,效果很好很棒.可是当我们要处理大数据,或者要在集群上搭建pipeline时,不得不面对在Linux上装R及想要的R包这个难题,尤其是对非root用户而言更是艰难重重. 准备依赖库 依次安装:zlib/bzip/liblzma/pcre/curl,注意顺序和版本.目前3.4以上3.6以下R版本相对较为稳定和不过时,我自己安装的是3.5.2. cd zlib-1.2.11 ./configure -

豆瓣排名前25电影及评价爬取 url <-'http://movie.douban.com/top250?format=text' # 获取网页原代码,以行的形式存放在web 变量中 web <- readLines(url,encoding="UTF-8") # 找到包含电影名称的行 name <- str_extract_all(string = web, pattern = '<span class="title">.+</

R+mongo的组合真是各种坑等着踩 由于mongo中的时间戳普遍使用的是unix timestamp的格式,因此需要对每天的数据进行计算的时候,很容易就想到对timestamp + gap对方式来实现每天的时间范围. 但这时候就埋下了一个坑,这个坑就是计算精度的问题. ms级的时间戳长度是12位,R中会识别成1.421112+e12的格式.gap的则是 1000 * 60 * 60 *24 * i,数量级是10^8.两者相加,在取某个i的时候,会出现加出来的数据与下一天的timestamp对不

问题描述: 在R中使用多线程对数据库进行写入,在服务器端运行脚本(linux环境),总是在第6-7万个任务线程时,出现无法连接到数据库的问题.任务中断,错误信息为task 6xxxx failed,Can't connect to database. 而远程端在windows环境下执行时,却没有问题. 问题出现了很久,只所以动不起念头去解决,是隐约觉得问题出现在R语言工具包或linux操作系统底层的问题. 这两者都不是我能handle的领域.即使花了极大精力去定位问题,定位到了我也未必能解决.

参考: http://blog.csdn.net/xiaofei2010/article/details/8458605 '\r' : 回车符 '\n' : 换行符 以下是c++语言的测试代码, 跟平台无关(至少win下, 跟linux下效果是一样的)  运行结果如下: 回车(\r):每次光标移到本行的行首位置处. 回车换行(\r\n):每次光标移到下一行的行首位置处. 换行(\n):光标移到下一行, 由于下一行没有内容, 所以效果跟回车换行效果一样 二 引申 以上是打印语句对这两个字符的解析的

http://www.studyofnet.com/news/285.html \n是换行,英文是New line,表示使光标到行首\r是回车,英文是Carriage return,表示使光标下移一格 \r\n表示回车换行 我们在平时使用电脑时,已经习惯了回车和换行一次搞定,敲一个回车键,即是回车,又是换行. 1.\n 软回车: 在Windows 中表示换行且回到下一行的最开始位置.相当于Mac OS 里的 \r 的效果.在Linux.unix 中只表示换行,但不会回到下一行的开始位置. 2.\

分析文本内容基本的步骤:提取文本中的词语 -> 统计词语频率 -> 词频属性可视化.词频:能反映词语在文本中的重要性,一般越重要的词语,在文本中出现的次数就会越多.词云:让词语的频率属性可视化,更加直观清晰.文本下载地址(http://www.yuandn.com/booktxt/59797/#download 效果图是将老九门12章后面内容删除后结果) 目录: 效果示例图 分词包介绍及安装 词云包介绍安装 分词统计 词云展现  效果示例图: 分词包介绍及安装: R分词包:Rwordseg.r

工作笔记记录,会持续更新.... 目录: apply tapply lapply sapply merge substr.substring.strsplit.unlist.paste.paste0.nchar table apply函数: apply:apply的中文意思是应用,这个函数的意思是通过将一个函数应用到矩阵或数组中,返回一个向量或数组 语法:apply(X, MARGIN, FUN, ...)  , 其中X为一个数组:MARGIN为一个向量(表示要将函数FUN应用到X的行还是列),

包(package)是多个函数的集合,常作为分享代码的基本单元,代码封装成包可以方便其他用户使用.越来越多的R包正在由世界上不同的人所创建并分发,这些分发的R包,可以从CRAN 或 github 上获取,由于向 CRAN 提交包审核非常严格,有些开发者并没有将自己开发的R包提至CRAN的意向,通过 devtools 可以轻松从 github上下载安装.包的生命周期一般会经历 source.bundled.binary.installed和in-memory五个阶段.参考资料 (http://r-

R语言使用 <-  赋值 # 作为注释符号 c()函数用于作为向量赋值,例如age<-c(1,2,3,4,5) mean()用于求向量的平均值 sd()求向量的标准差 cor(a,b)求a和b的相关度,a.b均为向量 source("filename.R") 执行脚本文件 sink("filename") 将文本输出重定向到filename,默认是覆盖的模式,可以通过设定append=True 改为追加的模式,split=True改为将输出同时定向在屏幕