最近做一个oracle项目迁移工作,跟着spark架构师学着做,进行一些方法的总结. 1.首先,创建SparkSession对象(老版本为sparkContext) val session = SparkSession.builder().appName("app1").getOrCreate() 2.数据的更新时间配置表,选用mysql,就是说每次结果数据计算写入mysql后,还会将此次数据的更新时间写入数据配置表. 那么在代码里,需要创建配置表的case class,配置与构造数据…

1.首先IDEA要在该工程Settings中配置本地安装的Gradle,配好其home目录,注意目录到根目录即可,不要到bin一级,否则提示错误,无法使用: 2.配置好后会自动侦测Gradle项目,点击右下角自动引入依赖 3.有些依赖无法下载,右上角有提示选项,try again重试,也可点击查看详细日志,基本上是网络不通,因为缓存(cached xxx.jar)不到国外库的相应jar包导致: 4.Gradle默认配置在C盘下该用户下的.gradle目录,默认jar存放地址为C:\Users\(…

小记背景 随着业务代码的增多,项目代码的编译时长也在增多,遂针对这个痛点在dev下做些优化 第一部分:优化dev编译时间 这里优化的主要思路是在dev环境下,单独出来一个dll配置文件,将项目中的部分依赖包写入配置文件,最终生成一个在dev环境下专用的dll文件,这样处理的目的是减少开发时的编译时间(ps:经测试可以提升50%左右的编译效率),具体修改如下: 独立dev的dll配置 拷贝一份当前的dll.config.js文件,并重命名为开发环境专用dll-dev.config.js,并进行如下…

sparksql是spark中的一个模块,主要用于进行结构化数据的处理,他提供的最核心的编程抽象,就是DataFrame.同时,sparksql还可以作为分布式的sql查询引擎. 最最重要的功能就是从hive中查询数据.     Dataframe可以理解为:以列的形式组织的,分布式的数据集合.     Dataframe可以通过很多来源进行构建,包括:结构化的数据文件.hive中的表.外部的关系型数据库.以及RDD   使用sparksql 首先需要创建一个sqlContext对象,或者是它的…

@2018-4-25 11:02:27 > 源文件包含自身头文件无须指出其路径…

上篇文章 小记了: 关于 Poco::TCPServer框架 (windows 下使用的是 select模型) 学习笔记. http://www.cnblogs.com/bleachli/p/4352959.html 这儿继续学习下,poco在linux 下用cmake 编译. 从文档开始编译出错 从poco的 README 文件上可知: " BUILDING ON UNIX/LINUX/MAC OS X=============================== For building o…

Android系统内置应用可以使用更多的API.更高的权限,与开发普通应用最大的差别在于编译,内置应用编译需要用到Android.mk文件.下面是我在开发过程中的一些小记. 1.在AndroidMainfest.xml中添加 android:sharedUserId="android.uid.system" .通过sharedUserId属性,相同User id的apk配置运行在同一进程中,把程序的User id配置成android.uid.system,也就是让程序运行在系统进程中,…

Cocos2d-x项目移植到WinRT/Win8小记 作者: K.C. 日期: 11/17/2013 Date: 2013-11-17 23:33 Title: Cocos2d-x项目移植到WinRT/Win8小记 Tags: Android, adb, WP, Windows RT, WinRT, Visual Studio 现在的WinRT貌似仍然不争气低没拿下什么市场,这货做得不上不下,位置确实很尴尬,可能真的难有出路.但是如果是已有的游戏进行跨平台移植,那试试也无妨?  基于WP的版本上…

Cocos2d-x项目移植到WP8小记 作者: K.C. 日期: 10/24/2013 Date: 2013-10-24 00:33 Title: Cocos2d-x项目移植到WP8小记 Tags: Android, adb, WP, Visual Studio Cocos2d-x v2.2已经支持了Windows一系列的系统(cocos2d-x 0.13那个除外啦),包括RT,x86以及WP8 创建工程用create_project.py命令,工程会建立在cocos2d-x目录下的projec…

xcode6制作IOS .a静态库小记 创建iOS静态库 简单写个打印的代码 编码完成之后,直接Run就能成功生成.a文件了,选择 xCode->Window->Organizer->Projects->Your Project, 打开工程的Derived Data目录,这样就能找到生成的.a文件了,如图 静态库就生成了 导入静态库 如果你要导入静态库,有三种方式 第一种: 1. 是把include 和 .a通过Add Files to "MyLib"方式加入工…

HBase Maven 工程各个 Model 功能说明: github 地址:git://git.apache.org/hbase.git 版本:2.0.0-SNAPSHOT hbase-annotations 从 Hadoop 中 copy 来的的代码注解(所有的类.接口都要用到). 包含两个注解:InterfaceAudience 和 InterfaceStability. hbase-assembly 项目构建相关.没有代码,xml 文件和一个 license 相关的声明. hbase-c…

前言 Contour 是一款比较优秀的编剧辅助软件,按理说这篇文章应该归类到mac小记中,但其操作非常简单,基本上以写作提示为主.只怪所有提示都是英语,而且很多,每次使用打开 Contour 个别单词都要重新查字典,于是决心花点时间整理和背诵,既学了单词又学了编剧,一举多得. Ideas && Guide 其实在 Contour 中有一点比较遗憾,类别名都是英语,而且不可更改,这在创作主体是中文的情况下有点别扭.先说Ideas吧, 这可以说是一个灵感库,经常想忘记的单词是:Concept…

@2019-01-25 [小记] 添加与删除文件的机制是: menuconifg 所显示的菜单是由一系列 Kconfig 文件构成的,这些菜单实际就是一系列的宏控制,而这些宏又控制着一系列的 SConscript 文件中的代码文件是否加入工程,这一系列的 SConscript 文件由文件 SConstruct 管理,menuconfig 配置完毕后会生成新的 .config 配置文件和 rtconfig.h工程选项宏控制文件 (一系列宏定义),最终由 Scons 工具根据文件 rtconfig.…

用SparkSQL构建用户画像 二.  前言 大数据时代已经到来,企业迫切希望从已经积累的数据中分析出有价值的东西,而用户行为的分析尤为重要. 利用大数据来分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高产品质量,同时提高用户满意度. 三.  初识用户画像 右边是一个人的基本属性,通过一个人的基本属性我们可以了解到这个人的基本信息,左边上图是通过消费购物信息来描述一个人特征,左边下图是通过交际圈信息来描述一个人特征,通过不同的维度,去描述一个人,认识一个人,了解一个人.这就是我们今天所要…

原来一直是在windows下用虚拟机跑redhat 和debian 做实验和一些工程,以前也装过ubuntu和windows双系统,但是换电脑后,就一直懒得捣鼓了. 现在,由于长期需要在linux上做开发,就干脆重新装回ubutnu,为什么选择ubutnu而不是其他的发行版,原因也很简单:作为日用,它的桌面系统还是做的比较好的,APT安软件也比较方便 这次,还是用wubi装系统的,等后期再迁移吧. 用wubi装系统简单(但是好像13.04就不再支持了,先不做任何评价),只要把wubi.exe和…

目录: 1. 业务2. 流程分析3. 数据读取5. 数据清洗6. 行政区信息 6.1. 需求介绍 6.2. 工具介绍 6.3. 具体实现7. 会话统计 导读 本项目是 SparkSQL 阶段的练习项目, 主要目的是夯实同学们对于 SparkSQL 的理解和使用 数据集 2013年纽约市出租车乘车记录 需求 统计出租车利用率, 到某个目的地后, 出租车等待下一个客人的间隔 1. 业务 导读 数据集介绍 业务场景介绍 和其它业务的关联 通过项目能学到什么 数据集结构 字段 示例 示意 hack_li…

文章目录 一.创建maven工程,导包 二.开发代码 一.创建maven工程,导包 <properties> <scala.version>2.11.8</scala.version> <spark.version>2.2.0</spark.version> </properties> <dependencies> <dependency> <groupId>org.scala-lang</g…

刚开始接触Spark被Hive在Spark中的作用搞得云里雾里,这里简要介绍下,备忘. 参考:https://blog.csdn.net/zuochang_liu/article/details/82292076 SparkSQL:是一个完全不依赖Hive的SQL引擎. Spark On Hive 通过sparksql,加载hive的配置文件,获取到hive的元数据信息:spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据:接下来就可以通过spark sql来操作hi…

一.前言 这里简单讲述一下如何快速使用springmvc和spring data jpa搭建后台开发工程,并提供了一个简单的demo作为参考. 二.创建maven工程 http://www.cnblogs.com/hujunzheng/p/5450255.html 三.配置文件说明 1.application.properties jdbc.driver=com.mysql.jdbc.Driver jdbc.url=jdbc:mysql://localhost:3306/springdata?u…

公司引擎是用cmake根据目标平台来构建工程的,刚接触的时候深深体会到cmake的方便:如果目标平台是windows,它可以帮你自动构建出vs工程:如果是安卓,自动构建出eclipse工程,如果是IOS,自动构建出xcode工程.想想以前用vs建工程的时候,如果要引入第三方库,必须要手动配置第三方库路径,如果引入的库少,那还没什么,如果多的话就悲剧了,配个环境都要半天.再想想以前在linux平台下手动写Makefile的时候,如果工程比较小,模块少还好办,如果工程大,模块多,各种写依赖关系都要让…

Paste.deploy 与 WSGI, keystone 小记 名词解释: Paste.deploy 是一个WSGI工具包,用于更方便的管理WSGI应用, 可以通过配置文件,将WSGI应用加载起来. keystone 是 openstack的各模块之间调用时候采取的认证,主要方式是在WSGI接口下增加filter,对调用者做身份验证. Paste.deploy 详细介绍: paste.deploy 通过 loadapp(configPath)来启动WSGI应用, 其中configPath 包含…

1.到github网址上下载zip压缩包https://github.com/danielgindi/Charts 2.然后将解压后的文件夹整个拖到自己的工程文件夹下(很多教程只让拖xcodeproj文件,但我拖了不好使),如下图: 3.然后用xcode打开工程,将刚才拖进去的Charts-master文件下的Charts.xcodeproj 4.添加charts框架,如下图 5.创建桥接文件,Com + N新建文件: 然后就生成这两文件. 6.在ChartsDemo(你的工程文件名)-Brid…

偶然中发现Android Studio的工程文件夹比ADT Bundle的大很多.用Android Studio新建一个空工程,工程文件夹大小为30M,运行一次后大小为40M.同样用ADT Bundle新建一个空工程,工程文件夹大小为1.5M,运行一次后大小为3.8M.天哪!Android Studio的工程比ADT Bundle的工程至少大了10倍啊! 这是为什么呢?带着疑惑打开Android Studio工程文件夹,在<工程根目录>\build\generated文件夹中发现有个叫mock…

前段时间Cocos2d-x更新了一个Cocos引擎,这是一个集合源码,IDE,Studio这一家老小的整合包,我们可以使用这个Cocos引擎来创建我们的项目. 在Cocos2d-x被整合到Cocos引擎之前,我们可以不那么方便地在我们创建的工程里调试Cocos2d-x的代码,当我们使用了整合后的Cocos引擎,调试Cocos2d-x的代码就变得更加,非常不方便了! 使用Cocos2d-x创建的项目,在最先的版本必须是在Cocos2d-x引擎的目录下,放到其他的位置需要进行各种麻烦的设置,诸如头文…

项目需求一改再改,UI一调再调,结果就是项目中一堆已经用不到但却没有清理的垃圾资源,不说工程大小问题,对新进入项目的人或看其他模块的代码的人来说,这些没清理的资源可能也可能会带来困扰,所以最好还是清理掉这些垃圾,对于一个稍微大一点的工程来说,手工清理明显是不现实的,这就需要一个方法做这些事情. 清理资源文件 要清理没用的资源,首要的工作当然是找到他们,我们知道Anroid SDK中有一个工具叫lint,可以帮助我们查看工程中存在的问题,其中有一项功能就是查找没用到的资源,这样这一步就简单了,直接…

问题: eclipse 启动后,啥也不干,就一直在loading descriptor for XXX (XXX为工程名),,其他什么操作都不能操作. 如下图所示,保存文件也无法保存.  这个怎么办? 解决方法: Eclipse左侧的Project Explorer的右边一个按钮钮,鼠标移上去会提示"View Menu"点击.选择Customize View勾选掉Java EE Navigator Content WEB最后重启下eclipse.亲测可用. 转自http://bbs.c…

断断续续的学习安卓也有一段时间了.因为之前是搞iOS开发的, 之前有关iOS的博客请看<我的iOS开发系列博文>.<我的Objective-C系列文章>和<窥探Swift系列博客说明及其Swift版本间更新>,<设计模式系列文章>,<重构系列文章>,在搞安卓期间好多都是类比着iOS来学的,安卓开发和iOS开发还是有许多相似之处的,控件的使用也都是大同小异,因为之前接触过过JavaEE的东西,所以搞搞安卓还是比较顺利的. 还是由浅入深,本篇博客先简…

笔者最近要负责有个项目工程网站的安装进度过程,实现的效果要求大概如下图所示 由于笔者没有参与到数据库的制作,得知他们这个项目设计工序的时候就一个开始日期的和完成日期,连整个项目的安装结束时间都没有简直了.这里公开一下我的数据库 有点,总之就是说不出话的感觉. 之前笔者写前台table表绑定的时候一般都比较喜欢用tbale表绑个knockout js.这样子比较简单,第一行绑个数据库字段名字勇哥foreach循环输出下,一下子就出来了. 但是这玩意后面的列表明显是要自己在后台弄个转换器自己搞(sq…

方法/步骤 1 使用Eclipse创建Maven Web工程 2 找到Maven Project,点击Next 3 勾选上Create a simple project (不使用骨架),Next 4 填写工程名称和包名,并选择war类型,Finish 5 选择packing是war类型,在main下会生成 webapp目录 6 使用eclipse发布到tomcat下,需要把项目转成dynamic web project. 选择工程单击右键,选择properties 并找到 Project Fac…

导出 iOS 工程 在开始之前,请务必先保存您的工程.由于 Unity 无法直接生成 ipa 文件,您需要先导出 iOS 工程文件,然后通过 Xcode 编译生成. Step 1. 选择平台 在 Unity 中,点击 File > Build Settings-,在弹出的 Build Settings 对话框中选择 iOS 平台,并点击 Switch Platform,点击 Add Current 将当前工程添加到 Scene In Build 窗口中(请确认已勾选). Step 2. iOS…