需要用到的基础知识pandas基础知识参考1,2章https://github.com/datawhalechina/joyful-pandas 1.导入数据tsv 制表符作为分隔符的字段符csv 逗号作为分隔符的字段符详情见利用python进行数据分析第6章https://github.com/Knowledge-Discovery-in-Databases/team-learning/blob/master/%E7%AC%AC06%E7%AB%A0%20%E6%95%B0%E6%8D%AE%…

#cnblogs_post_body h2 { background: linear-gradient(to bottom, #18c0ff 0%,#0c7eff 100%); color: #fff; height: 55px width:100% -moz-border-radius: 3px; padding: 3px; margin: 10px 0px; font-family: "微软雅黑", "宋体", "黑体", Arial } P…

1.1 数据科学面临的挑战 第一,成功的分析中绝大部分工作是数据预处理. 第二,迭代与数据科学紧密相关.建模和分析经常需要对一个数据集进行多次遍历.这其中一方面是由机器学习算法和统计过程本身造成的. 第三,构建完编写卓越的模型不等于大功告成.数据科学的目标在于让数据对不懂科学的人有用. 1.2 认识Apache Spark Spark继承了MapReduce的线性扩展性和容错性,同事对它做了一些重量级扩展. Spark摒弃了MapReduce先map再reduce这样的严格方式. Spark扩展…

一.Python基础 查看Python版本 Python 3.7.3 (v3.7.3:ef4ec6ed12, Mar 25 2019, 22:22:05) [MSC v.1916 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license()" for more information. >>> import platfor…

打算学习python,但是又不想单纯地看书或是写个小项目,干脆引入很流行的翻译学习法来学习吧-         在论坛上看到了国外的一本<Learn Python the hard Way>,评价挺高的,虽然貌似已经有大神推出了译文版,但不影响我推出小白译文的决心-毕竟我只是学习,不是为了推广嘛-         翻译贵在坚持,翻的好不好在其次.但愿我不要三天打鱼两天晒网,加油-以下是第一章绪论- 链接地址:http://learnpythonthehardway.org/book/intro…

2019/10/26 第一章:Python介绍 Python是一种解释型,面向对象的语言.特点是: 可读性强 简洁,简洁 面向对象 免费开源 可移植性和跨平台性 丰富的库 可扩展性 应用范围:1.人工智能,2.数据分析,3.Web开发,4.爬虫,5.自动化测试运维 Python开发环境,英文IED (Integrated Development Environment 集成开发环境) 推荐IED PyCharm Python的交互模式(脚本shell模式) 1.进入命令行窗口,输入:python…

跟随鬼哥伦比亚科学so变化,四.第一章的例子 图纸/文化  听鬼哥说故事 ---------------------------------------------切割线-------------------------------------------- 这篇文章是前段时间的文章,近期这个系列的so分析刚好能够做为一个实例教程.所以就补充拿回来了. 前三篇没看的.请继续关注博客,看完前面三篇. 趁热打铁,加深对so的分析过程,于是就有了这篇文章的补充·····················…

前言 现在在学习Shiro,参照着张开涛老师的博客进行学习,然后自己写博客记录一下学习中的知识点,一来可以加深理解,二来以后遗忘了可以查阅.没有学习过Shiro的小伙伴,也可以和我一起学习,大家共同进步! 1.1 Shiro的简介 Apache Shiro是Java的一个安全框架.目前,使用Apache Shiro的人越来越多,因为它相当简单.可能没有Spring Security做的功能强大,但是实际工作中可能并不需要那么复杂的东西,所以,使用Shiro能解决我们项目中遇到的问题就好了. 1.…

自学Python的时候看了不少老男孩的视频,一直欠老男孩一个会员,现在99元爬虫集训果断参与. 非常喜欢Alex和武Sir的课,技术能力超强,当然讲着讲着就开起车来也说明他俩开车的技术也超级强! 以上是闲扯,开始正式话题. -----------------------------------------------华丽的分割线-------------------------------------------------- 爬虫是什么 百度上是这样讲的. 网络爬虫(又被称为网页蜘蛛,网络机器…

目录 第一章 impala的安装 1.impala的介绍 imala基本介绍 impala与hive的关系 impala的优点 impala的缺点: impala的架构以及查询计划 2.impala的安装环境准备 3.下载impala的所有依赖包 4.挂载磁盘 第一步:虚拟机关机新增磁盘 第二步:开机之后进行磁盘挂载 5.上传压缩包并解压 6.制作本地yum源 7.开始安装impala 8.所有节点配置impala 第一步:修改hive-site.xml 第二步:将hive的安装包发送到node…