python3 学习使用随机森林分类器 梯度提升决策树分类 的api,并将他们和单一决策树预测结果做出对比 附上我的git,欢迎大家来参考我其他分类器的代码: https://github.com/linyi0604/MachineLearning import pandas as pd from sklearn.cross_validation import train_test_split from sklearn.feature_extraction import DictVectoriz

如何抓取电商的数据 & Python https://www.zhihu.com/question/40720286 https://www.zhihu.com/question/38245582

一个获取上海地区AQI质量的Python脚本 https://github.com/yanyueoo7/Raspberrypi/blob/master/GetPmData_Shanghai.py #!/usr/bin/env python # -*- coding: utf-8 -*- #Author:Tea import time import sys import json import random import requests reload(sys) sys.setdefaultenc

最近公司在写一个课程<大数据运维实训课>,分为4个部分,linux实训课.Python开发.hadoop基础知识和项目实战.这门课程主要针对刚从学校毕业的学生去应聘时不会像一个小白菜一样被刷掉.老大让我负责编写Python开发这块,让一个运维同学去写书???心中一万只草泥马奔腾而过,吐槽过后工作还是要继续,想起自己学习Python时候,一整套课程或者是人家的博客学下来,到最后总是会忘掉以前的一些东西,无非是自己没有实操,习题量不够.所谓天道酬勤,用大量的题海战术来巩固知识点,到最后闭着眼睛也能

本篇文章转自简书:http://www.jianshu.com/p/85d563d326a9 这段时间在看量化策略,找到了一个比较不错的开源项目,但是yahoo金融的数据源一直没有找到,在网上找到了这篇文章,分享一下.文章最下方是原作者的微信号,有想打赏的自便~~ Yahoo! Finance提供国内外财经数据,PYTHON通常借助于pandas或者matplotlib进行数据读取. 由于2017年5月16日Yahoo!单方面进行了API升级,原数据接口已下线. 原URL格式:https://c

前言 由于AI的发展,包括Python集成了很多计算库,所以淡入了人们的视野,成为一个极力追捧的语言. 首先概括下Python中文含义是蟒蛇,它是一个胶水语言和一个脚本语言,胶水的意思是能和多种语言集成,脚本的意思是没有强制类型,直接解释执行,和PHP类似. 下面是对Python的一些基础语法介绍. 安装教程这里就不说了,大家自行百度,小编这里用的是PyCharm开发. 现在主流的就是Python3.X,所以下面讲解的3.X.2.X不建议学了,因为慢慢就被取代了. 下面直接贴代码和运行结果: 第

根据mysql内数据,python建倒排索引,再导回mysql内. 先把mysql内的数据导出,先导出为csv文件,因为有中文,直接打开csv文件会乱码,再直接改文件的后缀为txt,这样打开时不会是乱码,在第一行输入列名 保存时选另存为,将编码格式改为utf-8 这是建倒排索引时的代码(sort列没有空格和逗号) 运行是会报一个warning,但是结果没问题,代码结合了网络搜索结果,和我自己的修改,引用自: https://blog.csdn.net/luoganttcc/article/det

-cacheArchive也是从hdfs上进分发,但是分发文件是一个压缩包,压缩包内可能会包含多层目录多个文件 1.The_Man_of_Property.txt文件如下(将其上传至hdfs上) hadoop fs -put The_Man_of_Property.txt /mapreduce Preface “The Forsyte Saga” was the title originally destined for that part of it which is called “The

-cacheFile 分发,文件事先上传至Hdfs上,分发的是一个文件 1.找一篇文章The_Man_of_Property.txt: He was proud of him! He could not but feel that in similar circumstances he himself would have been tempted to enlarge his replies, but his instinct told him that this taciturnity wa

统计某几个词在文章出现的次数 -file参数分发,是从客户端分发到各个执行mapreduce端的机器上 1.找一篇文章The_Man_of_Property.txt如下: He was proud of him! He could not but feel that in similar circumstances he himself would have been tempted to enlarge his replies, but his instinct told him that t

实际案例: 1.过滤掉列表 [3,9,-1,10,20,-2..]的负数 2.筛出字典{'LiLei':79,'Jim':88,'Lucy':92...}中值高于90的项 3.筛出集合 {77,89,32,20..}中能被3整出的元素 ---最通用方法,FOR循环迭代,加上if判断进行过滤 例如: 这样写的问题:  在Python里显得很啰嗦,效率也很差! 解决方案--- 列表  列子:  列表解析: '''filter函数filter(,)接收2个参数,第一个,传入一个过滤函数,通常用lamb

作为机器学习中可解释性非常好的一种算法,决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法.由于这种决策分支画成图形很像一棵树的枝干,故称决策树.在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系. 一.初识决策树 决策树是一种树形结构,一般的,一棵决策树包含一个根结点,若干个内部结点和若干个叶结点: 叶结点:树的一个方向的

简单累计功能 Series sum() 返回一个 统计值 DataFrame sum.默认对每列进行统计 设置axis参数,对每一行 进行统计 describe()可以计算每一列的若干常用统计值. 获取seaborn planets数据 github: https://github.com/mwaskom/seaborn-data.git windows: 放在用户目录下(在线下载卡.超时.) dropna()丢弃有缺失值的行. Pandas累计方法 Aggregation Descriptio

[python]抓取沪深股市交易龙虎榜数据 python 3.5.0下运行 没做自动建立files文件夹,需要手动在py文件目录下建立files文件夹后运行 #coding=utf-8 import gzipimport http.cookiejar import urllib.request import urllib.parse import json import os import time import datetime def getOpener(head): # deal with

从CS中导入数据 Python中有一个CSV模块支持读写各种方言格式的CSV文件.方言是很重要的,因为没有一个同意的CSV标准,不同的应用实现CSV的方式略有不同,当看到文件的内容的时候你往往很容易第辨认出文件使用的是哪种方言. 步骤一: 首先导入CSV 模块 步骤二: 然后用with 语句打开数据文件并把它绑定到对象f(with 不用担心操作资源后会关闭数据源,因为with语句的上下文管理器会帮忙处理) 步骤三: 用csv.reader()方法返回reader对象,然后通过该对象遍历所读取文件

<零起点,python大数据与量化交易>,这应该是国内第一部,关于python量化交易的书籍. 有出版社约稿,写本量化交易与大数据的书籍,因为好几年没写书了,再加上近期"前海智库·zw大数据"项目,刚刚启动. 因为时间紧,只花了半天时间,整理框架和目录. 说是v0.1版,但核心框架已经ok:从项目角度而言,完成度,已经超过70%,剩下的只是体力活. 完成全本书,需要半年以上连续时间,本人没空,大家不要再问:"什么时间可以完成." 配合zwPython,这

本篇针对的数据是已经存在在页面上的数据,不包括动态生成的数据,今天是对HTML中提取对我们有用的数据,去除无用的数据 Python爬虫教程-18-页面解析和数据提取 结构化数据:先有的结构,再谈数据 json数据 1.处理此类数据,通常使用JSON Path 2.转换成python类型的数据,再进行操作(json类) XML文件 转换成python类型(xmltodict) XPath CSS选择器 正则表达式 非结构化数据:先有的数据,再谈结构 文本 电话号码 邮箱地址 处理此类数据,通常使用

首先,python 多线程不能充分利用多核CPU的计算资源(只能共用一个CPU),所以得用多进程.笔者从3.7亿数据的索引,取200多万的数据,从取数据到构造pandas dataframe总共大概用时14秒左右.每个分片用一个进程查询数据,最后拼接出完整的结果. 由于返回的json数据量较大,每次100多万到200多万,如何快速根据json构造pandas 的dataframe是个问题 — 笔者测试过read_json().json_normalize().DataFrame(eval(pan

用python+sklearn机器学习实现天气预报 模型和使用 项目地址 系列教程 0.前言 1.建立模型 a.准备 引入所需要的头文件 选择模型 选择评估方法 获取数据集 b.建立模型 c.获取模型评估结果 d.用joblib模块保存模型 e.封装 2.总控 代码 使用方法 3.最后效果 项目地址 github项目:PYWeatherReport 系列教程 机器学习参考篇: python+sklearn+kaggle机器学习 用python+sklearn(机器学习)实现天气预报 准备 用py

写在前面的一些P话:(https://jq.qq.com/?_wv=1027&k=RFkfeU8j) 天气预报我们每天都会关注,我们可以根据未来的天气增减衣物.安排出行,每天的气温.风速风向.相对湿度.空气质量等成为关注的焦点.本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取,保存为csv文件,之后用matplotlib.numpy.pandas对数据进行可视化处理和分析,得到温湿度度变化曲线.空气质量图.风向雷达图等结果,为获得未来