AttributeError: 'SparkConf' object has no attribute '_get_object_id' 初始化SparkContext时出现这种错误是因为把SparkConf对象放在了参数第一个的位置,由于pyspark命令行会默认创建一个SparkContext, 因此重新初始化时由于默认参数的问题,可能导致类似找不到属性的情况.最好单独创建py文件并通过spark-submit提交.另外,初始化时最好使用conf=conf的方式,防止默认位置参数的影响.参考…

import org.apache.spark.{SparkContext, SparkConf} import scala.math.random /** * 利用spark进行圆周率的计算 */ object test { def main(args: Array[String]) { // 这个是远程连接集群主机测试代码 val conf = new SparkConf().setAppName("SparkPai").setMaster("spark://192.16…

文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.高斯克吕格投影带换算 某坐标的经度为112度,其投影的6度带和3度带的算法为: 6度带:N=L/6,有余数则+1,所以带号是19,中央子午线经度 L'=6N-3 即19*6-3=111°. 3度带:N=(L-1.5)/3,有余数则+1,带号37,经度111°. 2.七参数转换 对于7参数转换,设置为:DX#DY#DZ#QX#QY#QZ#M DX:X偏移,单位米: D…

初识python备忘: 序列:列表,字符串,元组len(d),d[id],del d[id],data in d函数:cmp(x,y),len(seq),list(seq)根据字符串创建列表,max(args),min(args),reversed(seq),sorted(seq),tuple(seq)列表方法:append()末尾添加对象,count()对象计数,extend()末尾添加列表,index()第一个匹配对象的位置,insert()插入对象,pop()移除对象,默认为末尾,remo…

备忘 Ctrl+u:向文件首翻半屏: Ctrl+d:向文件尾翻半屏: Ctrl+f:向文件尾翻一屏: Ctrl+b:向文件首翻一屏: Esc:从编辑模式切换到命令模式: ZZ:命令模式下保存当前文件所做的修改后退出vi: :行号:光标跳转到指定行的行首: :$:光标跳转到最后一行的行首: x或X:删除一个字符,x删除光标后的,而X删除光标前的: D:删除从当前光标到光标所在行尾的全部字符: dd:删除光标行正行内容: ndd:删除当前行及其后n-1行: nyy:将当前行及其下n行的内容保存到寄存…

viewport布局常用属性 new Ext.Viewport({ layout: "border", renderTo: Ext.getBody(), defaults: { bodyStyle: "background-color: #FFFFFF;", frame: true }, //split为true,即可达到上下左右拉伸效果 //layout:fit,填满布局 //collapsible:true,north模块被收缩到最上面 items: [{ re…

这两天遇到Windows 10的更新问题,官方有一个小工具,可以用来修复Windows Update的问题,备忘如下 https://support.microsoft.com/en-us/kb/971058 To automatically reset Windows Update components, run the appropriate Windows Update diagnostic, and then follow the on-screen instruction. Windo…

一直以来对和this有关的东西模糊不清,譬如call.apply等等.这次看到一个和bind有关的笔试题,故记此文以备忘. bind和call以及apply一样,都是可以改变上下文的this指向的.不同的是,call和apply一样,直接引用在方法上,而bind绑定this后返回一个方法,但内部核心还是apply. 直接看例子: var obj = { a: 1, b: 2, getCount: function(c, d) { return this.a + this.b + c + d; }…

MFC基于对话框的Demo txt中每行一个23位的卡号. 文件夹中包含以卡号命名的图像文件.(fpt或者bmp文件) 要求遍历文件夹,找到txt中卡号所对应的图像文件,并复制出来. VC6.0写的. 太懒了,代码以前写过,直接复制就OK. **.cpp 下边的代码比较常用and改动比较大,备忘一下. void CRenameFileDlg::OnButton1() {//按钮1 UpdateData(); }; if (select_any(buf)) { m_pathname=buf; Up…

在安装php的时候,不管是编译安装: ./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc --with-mysql=/usr/local/mysql --with-mysqli=/usr/local/mysql/bin/mysql_config --with-iconv-dir --with-freetype-dir --with-jpeg-dir --with-png-dir --with…