CS100.1x简介 这门课主要讲数据科学,也就是data science以及怎么用Apache Spark去分析大数据. Course Software Setup 这门课主要介绍如何编写和调试PySpark.本节主要介绍环境搭配.为了让所有人环境一致,本课程的编程环境是用Virtual Machine.你需要安装VirtualBox和Vagrant来搭环境. 硬件和软件要求 这门课需要的最小硬件配置如下: 硬盘空间: 3.5 GB 内存: 2.5 GB (4+ GB 更好) 处理器: 任何I…

这门课是CS100.1x的后续课,看课程名字就知道这门课主要讲机器学习.难度也会比上一门课大一点.如果你对这门课感兴趣,可以看看我这篇博客,如果对PySpark感兴趣,可以看我分析作业的博客. Course Software Setup 这门课的环境配置和上一门一模一样,参考我的这篇博客CS100.1x Introduction to Big Data with Apache Spark. Lecture 1 Course Overview and Introduction to Machine…

这是CS100.1x第一个提交的有意义的作业,自己一遍做下来对PySpark的基本应用应该是可以掌握的.相关ipynb文件见我github. 这次作业的目的如题目一样--word count,作业分成4个部分,遇到不懂的地方,时刻记得查API. Part 1 Creating a base RDD and pair RDDs Create a base RDD wordsList = ['cat', 'elephant', 'rat', 'rat', 'cat'] wordsRDD = sc.p…

这是CS100.1x第一个提交的作业,是给我们测试用的.相关ipynb文件见我github.本来没什么好说的.我在这里简单讲一下,后面会更详细的讲解.主要分成5个部分. Part 1: Test Spark functionality Parallelize, filter, and reduce # Check that Spark is working largeRange = sc.parallelize(xrange(100000)) reduceTest = largeRange.re…

起因 大数据时代 大数据最近太热了,其主要有数据量大(Volume),数据类别复杂(Variety),数据处理速度快(Velocity)和数据真实性高(Veracity)4个特点,合起来被称为4V. 大数据中的数据量非常巨大,传统的关系型数据库已经无法满足对大数据的处理要求.此时,分布式计算应运而生.分布式计算就是把一组计算机通过网络相互连接组成分散系统,然后将需要处理的大量数据分散成多个部分,交由分散系统内的计算机组同时计算,最后将这些计算结果合并得到最终的结果. 过去,分布式计算理论比较复杂…

ubuntu16.04,在网络配置下找到802.1x安全性,输入账号密码,为什么连接不上?   这是系统的一个bug解决办法:假设你有一定的ubuntu基础,首先你先建立好一个不能用的协议,就是按照之前的方法建立就好,要记住它的名字,它会一直提示你输入密码,不过不影响,关掉就行,但必须建立好.     1. Ctrl+Alt+t 打开终端2. cd /etc/NetworkManager/system-connections3. ls 一下,你可以看到之前创建的配置文件(按上面的步骤,这里应该能…

解压版MySQL5.7.1x的安装与配置 MySQL安装文件分为两种,一种是msi格式的,一种是zip格式的.如果是msi格式的可以直接点击安装,按照它给出的安装提示进行安装(相信大家的英文可以看懂英文提示),软件一般安装在D盘D:\mysql\mysql-5.7.11-winx64:zip格式是自己解压,解压缩之后其实MySQL就可以使用了,但是要进行配置. 完成上述步骤之后,还不能直接使用,因为是免安装的,所以很多配置还要自己做.下面是配置MySQL的环境变量,配置环境变量很简单: 我的电脑…

下载地址:https://github.com/rickytan/RTImageAssets 此插件用来生成 @3x 的图片资源对应的 @2x 和 @1x 版本,只要拖拽高清图到 @3x 的位置上,然后按 Ctrl+Shift+A 即可自动生成两张低清的补全空位.当然你也可以从 @2x 的图生成 @3x 版本,如果你对图片质量要求不高的话. 特性 只会填补空位,如果你已经设置好了自己的 @2x 图,则不会生成: 自动重命名,保持项目干净(把 N.imageset 下的图片名字改为 N.png N…

EAP: 0,扩展认证协议 1,一个灵活的传输协议,用来承载任意的认证信息(不包括认证方式) 2,直接运行在数据链路层,如ppp或以太网 3,支持多种类型认证 注:EAP 客户端---服务器之间一个协议 802.1x协议:客户端---NAD,承载电脑到交换机之间一段的一个二层的封装协议. radius:NAD—服务器,承载交换机到radius服务器之间的一个三层的radius的封装协议.如下图. 交换机的作用:转来转去做封装;交换机收到电脑的包,把外层的802.1x的包去掉,封装成3层的radi…

脱壳ASProtect 2.1x SKE -> Alexey Solodovnikov 用脚本.截图 1:查壳 2:od载入 3:用脚本然后打开脚本文件Aspr2.XX_unpacker_v1.osc,运行,很快的,不管. http://download.csdn.net/detail/kfyzk/1461400 4:提示点确定 5:打开运行记录 6:找到最下面 7:修复刚脱壳的文件 8:对脱壳后的文件查壳运行无异常 09:脱壳完成. ==============================…