1. HFile的LoadIncrement卡住 原来是因为权限,我一直以为,load函数之后是要删除文件的,但是hdfs://slave1:8020/test/info文件夹所有的是只读权限,而且考出来附加到HFile的时候可能也需要改文件,但是权限不够,所以导致卡在了那个地方. 2.df.rdd明明有值,为什么没有执行到map呢? 没有触发,map只是transformation,还需要一个action,比如count: 3.spark分区 每个分区对应一个CPU的核 4. Put方式插入到…