### Spark SQL Running the SET -v command will show the entire list of the SQL configuration. #scala// spark is an existing SparkSession spark.sql("SET -v").show(numRows = 200, truncate = false)#java // spark is an existing SparkSession spark.sql…

参考http://spark.apache.org/docs/latest/configuration.html Spark提供三个位置来配置系统: Spark属性控制大多数应用程序参数,可以使用SparkConf对象或通过Java系统属性进行设置. 可以使用环境变量通过conf/spark-env.sh每个节点上的脚本来设置每台机器的设置,例如IP地址. 日志记录可以通过配置log4j.properties. Spark属性控制大多数应用程序设置,并为每个应用程序单独配置.这些属性可以直接在一…

1.Knockout.Js官网学习(简介) 2.Knockout.Js官网学习(监控属性Observables) Knockout.Js官网学习(数组observable) 3.Knockout.Js官网学习(visible绑定) Knockout.Js官网学习(text绑定) Knockout.Js官网学习(html绑定.css绑定) Knockout.Js官网学习(style绑定.attr绑定) 4.Knockout.Js官网学习(click绑定) Knockout.Js官网学习(event…

----本节内容-------1.概览        1.1 Spark SQL        1.2 DatSets和DataFrame2.动手干活        2.1 契入点:SparkSession        2.2 创建DataFrames        2.3 非强类型结果集操作        2.4 程序化执行SQL查询        2.5 全局临时视图        2.6 创建DataSets        2.7 与RDD交互操作        2.8 聚集函数3.Sp…

这里以spark-1.6.0版本为例 官网网址   http://spark.apache.org/docs/1.6.0/building-spark.html#building-with-buildmvn 前提:使用Maven构建Spark需要Maven 3.3.3或更新版本和Java 7以上版本. Spark构建可以提供合适的Maven二进制文件; 见下文. 1.用build/mvn 进行构建spark Spark现在包含一个独用的Maven安装,以便轻松地从本地源码的build/目录下构建…

mysql 官网 https://www.mysql.com/ 官网布局很简单, 其中常用的两块就是下载和文档这两块, 其中下载没什么可讲的, 本次重点依旧是文档. 首页 mysql 文档导航页 https://dev.mysql.com/doc/, 点击官网中的文档就能进入到下面的页面, mysql把内容分成了好几大块,第一块内Mysql 服务应用, 是所有内容里面最核心的.其他几块内容在第一块内容里面都有涉及, 稍后我们来看一下. 文档页导航 点开第一块内容的引用手册, 可以看到下面关于my…

接近用了4个多月的时间,完成了整个<Spring官网阅读>系列的文章,本文主要对本系列所有的文章做一个总结,同时也将所有的目录汇总成一篇文章方便各位读者来阅读. 下面这张图是我整个的写作大纲 对应的文章目录汇总如下: Spring官网阅读(一)容器及实例化 本文主要涉及到官网中的1.2,1.3节.主要介绍了什么是容器,容器如何工作. Spring官网阅读(二)(依赖注入及方法注入) 本文主要涉及到官网中的1.4小节,主要涉及到Spring的依赖注入 Spring官网阅读(三)自动注入 在对依赖…

一.初步认识 uni-app官网:https://uniapp.dcloud.io/component/README HBuilderX官方IDE下载地址: http://www.dcloud.io/hbuilderx.html 选择版本: 下载App开发版,可开箱即用: 如使用cli方式创建项目,可直接下载标准版 创建uni-app: 工具栏里的文件 -> 新建 -> 项目 -> 选择uni-app,输入工程名 运行uni-app: 快捷键 ctrl+r 选择运行方式 显示项目目录:…

欢迎指导与讨论 : ) 前言 本文主要是笔者在React英文官网学习时整理的笔记.由于笔者水平有限,如有错误恳请指出 O(∩_∩)O 一 .Tutoial 篇 1 . React的组件类名的首字母必须是大写  var Comment = React.creatClass({..})  class Comment extends Component(){...} 2 . 我们需要往一个对象里传入一些方法,并把这个对象以参数的形式传到React.creatClass( )里.其中最重要的方法是ren…

Tomcat 官网知识总结一.Tomcat 基本介绍 1.关键目录 a) bin 该目录包含了启动.停止和启动其他的脚本,如startup.sh.shutdown.sh等; b) conf 配置文件和一些文档定义规则,其中server.xml文件是tomcat容器的主要配置文件; c) logs 该目录是默认的日志目录,其中控制台打印出来的内容,都会保存在catalina.log中; d) lib 该目录下主要放置了servlet和jsp需要的jar包 e) webapps 1.放置web应用程…

官网查看: https://docs.spring.io/spring-boot/docs/current-SNAPSHOT/reference/htmlsingle/#appendix 查看info配置: pom: <build> <finalName>microservices</finalName> <resources> <resource> <directory>src/main/resources</director…

http://spark.apache.org/docs/latest/rdd-programming-guide.html#using-the-shell Overview(概述) 在较高的层次上,每个Spark应用程序都包含一个驱动程序,该程序运行用户的主要功能并在集群上执行各种并行操作. Spark提供的主要抽象是弹性分布式数据集(RDD),它是跨群集节点分区的元素集合,可以并行操作. RDD是通过从Hadoop文件系统(或任何其他Hadoop支持的文件系统)中的文件或驱动程序中的现有Sc…

一.使用Vue.js注意事项 Vue.js在uni-app中使用的差异: 新增:uni-app除了支持Vue实例的生命周期,还支持应用启动.页面显示等生命周期 受限:发布到H5时支持所有vue的语法, 在小程序和App端部分功能受限 生命周期:Vue实例生命周期+应用生命周期+页面生命周期 使用uni-app的onReady : 代替vue的mounted 使用uni-app的onLoad : 代替vue的created 注意:不要在选项属性或回调上使用箭头函数,比如 created: () =…

前言 最近一段时间在网上经常看到关于Knockout.js文章,于是自己就到官网看了下,不过是英文的,自己果断搞不来,借用google翻译了一下.然后刚刚发现在建立asp.net mvc4.0的应用程序的时候,建完之后我直接在项目的Scripts中看到了这两个js类库,用谷歌翻译看了下官网,Ko的实现原理是MVVM,比MVC高级一些. 简介MVVM模式 MVVM是Model-View-ViewModel的简写. WPF的数据绑定与Presentation Model相结合是非常好的做法,使得开发…

官网:https://knockoutjs.com/documentation/introduction.html Knockout-Validation: https://github.com/Knockout-Contrib/Knockout-Validation 入门 KO 如何工作及贡献 下载和安装 监控属性 创建视图模型与监控 使用数组监控 (一)Knockout 计算监控属性 1.使用计算监控属性 Computed 2.(例子) 可写计算监控属性 Writable computed…

1. 多多读官网,所有的只知识点都可以从上面的总纲中查到.…

网上搜索Oracle官网:oracle官网 进入Oracle官网 点击menu-Documentation-Java/Database,进入Oracle官网的文档网站 首先是Java,可以看到JavaSE, JavaME, JavaEE 然后是Database 点击Oracle Datebase 选择最新版本或者早期版本,选择早期的一个具体版本,比如11g 这样就进入了Oracle在线文档页面了.当然在之前步骤也能查看其它数据库在线文档.针对DBA和开发人员,可以自由选择自己需要的文档进行浏览.…

原文:Batching Handler for ASP.NET Web API 自定义实现HttpMessageHandler public class BatchHandler : HttpMessageHandler { HttpMessageInvoker _server; public BatchHandler(HttpConfiguration config) { _server = new HttpMessageInvoker(new HttpServer(config)); } p…

Message Handlers是一个接收HTTP Request返回HTTP Response的类,继承自HttpMessageHandler 通常,一些列的message handler被链接到一起.第一个handler收到http request做一些处理,然后将request传递到下一个handler.在某时刻,response被创并返回.这种模式被称为delegating hanlder 服务端消息处理 在服务端,WebAPI管道使用一些内建的message handlers Http…

Configuration Settings WebAPI中的configuration settings定义在HttpConfiguration中.有一下成员: DependencyResolver Filters Formatters IncludeErrorDetailPolicy Initializer MessageHandlers ParameterBindingRules Properties Routes Services 在ASP.NET Hosting中配置WebApi na…

JSON序列化: WebAPI的默认序列库使用的是Json.NET,可以在Globally中配置使用DataContractJsonSerializer 进行序列化 protected void Application_Start() { GlobalConfiguration.Configure(WebApiConfig.Register); var json = GlobalConfiguration.Configuration.Formatters.JsonFormatter; json.…

Web API内建支持XML.JSON.BSON.和form-urlencoded的MiME type. 创建的自定义MIME类型要继承一下类中的一个: MediaTypeFormatter 这个类使用异步的读/写方法 BufferedMediaTypeFormatter 这个类继承自MediaTypeFormatter,但它使用同步的读/写方法 自定义一个MIME类型,如下: public class ProductCsvFormatter:BufferedMediaTypeFormatter…

EMD安全 查询语法是基于entity data model(EDM),不是基于底层的model类型,可以从EDM排除一个属性,这样这个属性在client就不能被查询了. 有两种方式可以从EDM中排除一个属性 第一种使用 [IgnoreDataMember]特性 public class Employee { public string Name { get; set; } public string Title { get; set; } //当应用于类型的成员时,指定该成员不是数据协定的一部…

从WebApi 1迁移到WebAPI 2要改变配置代码如下: WebApi 1: protected void Application_Start() { // WARNING - Not compatible with attribute routing. WebApiConfig.Register(GlobalConfiguration.Configuration); } WebAPI 2: protected void Application_Start() { // Pass a del…

Spring Boot uses a very particular PropertySource order that is designed to allow sensible overriding of values. Properties are considered in the following order: Devtools global settings properties on your home directory (~/.spring-boot-devtools.pro…

Cookie的几个参数: Domain.Path.Expires.Max-Age 如果Expires与Max-Age都存在,Max-Age优先级高,如果都没有设置cookie会在会话结束后删除cookie WebAPI中使用Cookie //写cookie public HttpResponseMessage Get() { var resp = new HttpResponseMessage(); var cookie = new CookieHeaderValue("session-id&q…

HTML Forms概述 <form action="api/values" method="post"> 默认的method是GET,如果使用GET,表单数据被编码到URI中作为查询字符串:如果使用POST,表单数据放在Request body中,enctype属性指定编码类型: 编码方式(enctype) 描述 application/x-www-form-urlencoded 表单数据被编码成name/value形式,默认的编码方式 multipa…

在客户端,HttpClient使用message handle处理request.默认的handler是HttpClientHandler,用来发送请求和获取response从服务端.可以在client pipline中插入自定义的message handler: 自定义的message handler: class MessageHandler1 : DelegatingHandler { private int _count = 0; protected override Task<Http…

Authentication(认证)   WebAPI中的认证既可以使用HttpModel也可以使用HTTP message handler,具体使用哪个可以参考一下依据: 一个HttpModel可以检测ASP.NET请求管道中的所有请求,一个message handler仅仅可以检测到被路由到这个WebAPI的请求 可以预先设置message handlers,让特定的route使用指定的authentication scheme Http Module只能在IIS中使用,Message ha…

如果没有对应的web api模板,首先使用nuget进行安装 例子1: ProductController 是以硬编码的方式使用StoreAppContext类的实例,可以使用依赖注入模式,在外部指定上下文实例 public interface IStoreAppContext:IDisposable { DbSet<Product> Products { get; set; } int SaveChanges(); void MarkAsModified(Product item); } p…