主要是用于分析数据的Pandas库 先学习两个数据类型DataFrame和series 进一步学习利用Pandas进行摘要的方法, 提取数据的特征 1 pandas库 1.1 pandas库 pandas库是处理和分析数据最好的库 提供高性能易用数据类型和分析工具 引用 import pandas as pd Pandas基于NumPy实现, 常与NumPy和Matplotlib一同使用 示范小例 得到的Series数据, 左边的是索引, 右边的数据 Pandas有两个数据类型: Series(…

python requests抓取NBA球员数据,pandas进行数据分析,echarts进行可视化 (前言) 感觉要总结总结了,希望这次能写个系列文章分享分享心得,和大神们交流交流,提升提升. 因为半桶子水的水平,一直在想写什么,为什么写,怎么写. 直到现在找到了一种好的办法: 1.写什么 自己手上掌握的,工作中经常用到的,从数据源 到 最后可视化 所有一套流程. 2.为什么写 因为很长一段时间没有进行总结和梳理了,总感觉很多东西很零散,另一方面,写写笔记也是对那些东西的一次巩固. 3.怎么写…

pandas数据预处理 / pandas data pre-processing 目录 关于 pandas pandas 库 pandas 基本操作 pandas 计算 pandas 的 Series pandas 常用函数 补充内容 1 关于pandas / About pandas Pandas起源 Python Data Analysis Library或pandas是基于NumPy的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标准的数据模型,提供了高效…

终于盼来了不是前言部分的前言,相当于杂谈,算得上闲扯,我觉得很多东西都是在闲扯中感悟的,比如需求这东西,一个人只有跟自己沟通好了,总结出某些东西了,才能更好的和别人去聊,去说. 今天这篇写的是明白需求,其实更多的是想和大家聊天,只有把这个聊开了,后面的东西做起来才有意义,才有价值,在聊天中,思考中发现价值(化身为话唠了?) 有时候你自以为某些东西很重要,其实那只是站在自己的角度觉得很重要,更需要的是站在别人,站在市场的角度去思考这个问题,特么的到底重不重要. 需求我觉得可以分为两类:自己主动去做…

需求: 某某金融大亨想涉足金融网贷,想给网贷平台取一个名字,那么取什么名字,名字里面包含哪些关键字,在行业内的曝光率会相比较高一些呢? 可以理解为: 你负责某某网贷平台的网络推广工作,如何进一步优化各广告推广平台上的搜索关键词,这些网贷平台的名称都有啥共同点? 其实就是: 想看看各网贷平台名称的高频词汇,给各平台的名称划下重点   找数据: 获取所有网贷平台的平台基本名称数据,这样子才能进行下一步工作 把网贷之家上所有平台的数据找出来,这样就可以了 读取数据: import pymysql im…

数据一样,摘要一样  (摘要即MD5) 摘要一样,数据一样 摘要是用于检验数据的完整性的技术(比如验证下载的东西是否完整,迅雷就是这样), 查看文件的MD5: Linux         :  md5sum 命令可以查看 Windows : certutil -hashfile D:\1.exe MD5 certutil -hashfile D:\1.exe SHA1 certutil -hashfile D:\1.exe SHA256 https://  可防止中间人攻击…

感觉要总结总结了,希望这次能写个系列文章分享分享心得,和大神们交流交流,提升提升. 因为半桶子水的水平,一直在想写什么,为什么写,怎么写. 直到现在找到了一种好的办法: 1.写什么 自己手上掌握的,工作中经常用到的,从数据源 到 最后可视化 所有一套流程. 2.为什么写 因为很长一段时间没有进行总结和梳理了,总感觉很多东西很零散,另一方面,写写笔记也是对那些东西的一次巩固. 3.怎么写 这个问题其实想了很久,后来想通了,就是怎么把工具都放在手上,结合着用起来,按流程走.   接下来都会这么写:…

一.爬取老番茄B站数据 前几天开发了一个python爬虫脚本,成功爬取了B站李子柒的视频数据,共142个视频,17个字段,含: 视频标题,视频地址,视频上传时间,视频时长,是否合作视频,视频分区,弹幕数,播放量,点赞数,投币量,收藏量,评论数,转发量,实时爬取时间 基于这个Python爬虫程序,我更换了up主的UID,把李子柒的uid换成了老番茄的uid,便成功爬取了老番茄的B站数据.共393个视频,17个字段,字段同上. 这里展示下爬取到的前20个视频数据: 基于爬取的老番茄B站数据,用pyt…

import pandas as pd import numpy as np dates = pd.date_range(',periods=6) dates import pandas as pd import numpy as np dates = pd.date_range(',periods=6) mytbl = pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD')) mytbl mytbl.sort_val…

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章<别老扯什么Hadoop了,你的数据根本不够大>指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择.这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据: 硬件环境 CPU:3.5 GHz Intel Core i7 内存:32 GB HDDR 3 1600 MHz 硬盘:3 TB Fusion Drive 数据分析…