由于最近没事在学python,正好最近也想趴下新浪微博上边的一些数据,在这里主要爬去的是一个人的粉丝具体信息(微博昵称,个人介绍,地址,通过什么方式进行关注),所以就学以致用,通过python来爬去微博上边的数据. 首先先说下环境啊,使用的是python3.5,然后使用的框架有: requests:用来获取html页面. BeautifulSoup:用来进行html的解析,是一个在python爬虫中非常好用的一个工具,并且有中文的说明文档,链接是:https://www.crummy.com/s

前言 本来打算做一个关于微博粉丝列表的爬虫,可以统计一下某个微博账号的粉丝里面,僵尸粉(水军)的数量,大V数量. 结果写完爬虫才发现,现在微博只给人看粉丝列表的前5页.......哈哈,好吧.挺无奈的,淘宝那边也是只展示前100页的评论. 爬虫代码 直接上爬虫代码 import requests import re tmpt_url = 'https://weibo.com/p/1005051678105910/follow?page=%d#Pl_Official_HisRelation__59

[文章摘要]Senparc.Weixin.MP虽然是微信公众号的SDK,但由于易信公众号和新浪微博粉丝服务平台也提供了微信兼容接口,所以也可以使用其快速实现相应的服务,当然微博由于与微信存在差异,如果不改动原始SDK,则需要对一些地方进行调整.本文使用Senparc.Weixin.MP快速实现新浪微博粉丝服务平台的接口. [文章索引] 新浪微博粉丝服务平台接口说明 Senparc.Weixin.MP使用介绍 对于微博特有事件的处理 [一.新浪微博粉丝服务平台接口说明] 关于怎么申请新浪微博粉丝服

python爬虫,微博爬虫,需要知晓微博用户id号,能够通过抓取微博用户主页内容来获取用户发表的内容,时间,点赞数,转发数等数据,当然以上都是本渣渣结合网上代码抄抄改改获取的! 要抓取的微博地址:https://weibo.com/u/5118612601 BUT,我们实际应用的抓取地址:https://m.weibo.cn/u/5118612601(移动端的微博地址) LSP的最爱,各种小姐姐,随你任意爬取,快收藏起来啊! 通过浏览器抓包,我们可以获悉几个比较重要的参数: type: uid

财经数据接口包tushare的使用(一) Tushare是一款开源免费的金融数据接口包,可以用于获取股票的历史数据.年度季度报表数据.实时分笔数据.历史分笔数据,本文对tushare的用法,已经存在的一些问题做一些介绍. 一:安装tushare 为避免由于依赖包缺失导致安装失败,请先安装anaconda,百度网盘地址: 链接:http://pan.baidu.com/s/1qYDQUGs 密码:6wq8 安装直接一直下一步即可 安装完成之后,anaconda会自动配置环境变量,直接就可以用了,c

微博搜索爬虫 网页分析 由于网页端反爬虫机制比较完善所以才去移动端进行爬虫. url地址:https://m.weibo.cn/ 搜索框,输入关键词进行搜索 对网页进行抓包,找到相关数据 查看数据是否与网页的内容相同 分析多组数据的请求头 编写程序 构造url地址 通过网页分析构造url地址对,地址信息访问. import requests #构造搜索内容 data = { 'containerid':'100103type=1&q=电影', 'page_type':'searchall', '

# -*- coding: utf-8 -*- # @Time : 2018/03/05 10:57 # @Author : cxa # @File : testDataTime.py # @Software: PyCharm import datetime import time # 今天 12:36 # 34分钟前 # 20秒前 # 2月26日 09:38 #统一格式化成时间类型 def get_format_datetime(datestr): now= datetime.datetime

一.EDG夺冠信息 11月6日,在英雄联盟总决赛中,EDG战队以3:2战胜韩国队,获得2021年英雄联盟全球总决赛冠军,这个比赛在全网各大平台也是备受瞩目: 1.微博热搜第一名,截止2021-11-10已有亿级观看量,微博粉丝数到达638.4万 2.哔哩哔哩已有几亿人气,总弹幕有22.3万,全站排行榜最高第2名,B站粉丝已有219.9万 3.腾讯.爱奇艺.优酷等视频平台800万人看过 4.虎牙等直播平台热度也是居高不下 5.央视新闻也发微博庆祝EDG夺冠 既然比赛热度这么高,那么本次我们就以bi

目录 Selenium 是什么? 一.核心代码 二.步骤分解 1.打开浏览器 2.访问微博登录页 3.输入账号密码 4.点击登录 5.通过人机验证 6.打开我们的中公题库君首页 7.加一下关注 8.定位到第2条微博准备给她点赞评论一下 9.开始点赞 10.点击评论 Selenium 是什么? Selenium是一个用于Web应用程序测试的工具,可以模拟真正的用户操作,支持多种浏览器,如a Firefox,Safari,Google Chrome,Opera等. 正好,我们公司有一个妹纸团队运营的

前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:CDA数据分析师 豆瓣9.4分!这场线上演唱会到底多好看? 首先让我们看到豆瓣上的数据:截止到目前为止,五月天的这次线上演唱会共有10万余人进行了评价,目前豆瓣评分为9.4分,是非常高的成绩了. 豆瓣评分分布 进一步分析可以看到,评论中有68.4%的人给出了满分5星,其次24.2%的人给出了4星. 豆瓣评论词云图 豆瓣评论中大家都在说些什么呢?可以看到"太短&quo

Python 调用图像融合API 本文记录使用Python,调用腾讯AI开放平台的图像融合API.官网给出的Demo用的是PHP,博主作为Python的粉丝,自然想用它来和『最好的』的语言一较高下,顺便加深对服务调用的理解 官网PHP实现 腾讯的官方文档应该写的非常详细了,可以直接运行的PHP代码如下: <?php // getReqSign :根据 接口请求参数 和 应用密钥 计算 请求签名 // 参数说明 // - $params:接口请求参数(特别注意:不同的接口,参数对一般不一样,请以具

Python股票数据分析 最近在学习基于python的股票数据分析,其中主要用到了tushare和seaborn.tushare是一款财经类数据接口包,国内的股票数据还是比较全的 官网地址:http://tushare.waditu.com/index.html#id5.seaborn则是一款绘图库,通过seaborn可以轻松地画出简洁漂亮的图表,而且库本身具有一定的统计功能. 导入的模块: import matplotlib.pyplot as plt import seaborn as sn

python分别使用多线程和多进程获取所有股票实时数据   前一天简单介绍了python怎样获取历史数据和实时分笔数据,那么如果要获取所有上市公司的实时分笔数据,应该怎么做呢? 肯定有人想的是,用一个列表存储所有上市公司的股票代号,然后无限循环获取不就得了吗? 现在深市和沪市的股票一共有3400多只,如果你真这样做的话,获取一次所有股票的实时数据需要十几二十秒的时间,甚至更多,而且非常容易因为等待超时而使程序挂掉,如果你的模型对实时数据的质量要求非常高,这肯定是不行的,即使不考虑数据质量,获取数

前两天在网上偶然看到一个大佬OmegaXYZ写的文章,Python爬取微博文字与图片(不使用Cookie) 于是就心血来潮,顺手撸一个C#版本的. 其实原理也很简单,现在网上大多数版本都需要Cookie来获取微博数据.但是微博之前不是出了PWA版本嘛,就是通过这个版本,可以不用Cookie,来顺利获取微博数据. 关于使用Cookie与不使用Cookie的区别,dataabc大佬也有说明,下面是原文引用 对于大部分微博用户,不添加cookie也可以获取其用户信息和大部分微博,不同的微博获取比例不同

知识预览 一. RabbitMQ队列 二. 事例 三.基于RabbitMQ的RPC 回到顶部 一. RabbitMQ队列 ? 1 2 3 4 5 #消息中间件 -消息队列   - 异步 提交的任务不需要实时得到结果或回应   python线程Q 实现了在同一个进程间不同线程间的交互 python线程Q 也可以实现进程间Q的通信 a. 安装 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 #Centos7 安装   #注意/etc/hosts文件 ip和主机名对应 wget

Google 的两位创始人都是斯坦福大学的博士生,他们提出的 PageRank 算法受到了论文影响力因子的评价启发.当一篇论文被引用的次数越多,证明这篇论文的影响力越大.正是这个想法解决了当时网页检索质量不高的问题. /*请尊重作者劳动成果,转载请标明原文链接:*/ /* https://www.cnblogs.com/jpcflyer/p/11180263.html * / 一. PageRank 的简化模型 我们先来看下 PageRank 是如何计算的. 我假设一共有 4 个网页 A.B.C

什么是机器学习? 机器学习指的是机器通过统计学算法,对大量的历史数据进行学习从而生成经验模型,利用经验模型指导业务. 目前机器学习主要在一下一些方面发挥作用: 营销类场景:商品推荐.用户群体画像.广告精准投放 金融类场景:贷款发放预测.金融风险控制.股票走势预测.黄金价格预测 SNS关系挖掘:微博粉丝领袖分析.社交关系链分析 文本类场景:新闻分类.关键词提起.文章摘要.文本内容分析 非结构化数据处理场景:图片分类.图片文本内容提取OCR 其它各类预测场景:降雨预测.足球比赛结果预测 当然,机器学

机器学习PAI 机器学习PAI(Platform of Artificial Intelligence)是阿里云人工智能平台,提供一站式的机器学习解决方案.本文介绍什么是机器学习PAI. 什么是机器学习 机器学习是指机器通过统计学算法,对大量历史数据进行学习,进而利用生成的经验模型指导业务.目前机器学习主要应用在以下场景: 营销类场景:商品推荐.用户群体画像或广告精准投放. 金融类场景:贷款发放预测.金融风险控制.股票走势预测或黄金价格预测. 社交网络服务关系挖掘场景:微博粉丝领袖分析或社交关系

目录结构如下: 简介 Redis是一个高性能的key-value数据库.Redis对数据的操作都是原子性的. 优缺点 优点: 基于内存操作,内存读写速度快. Redis是单线程的,避免线程切换开销及多线程的竞争问题.单线程是指在处理网络请求(一个或多个redis客户端连接)的时候只有一个线程来处理,redis运行时不止有一个线程,数据持久化或者向slave同步aof时会另起线程. 支持多种数据类型,包括String.Hash.List.Set.ZSet等 支持持久化.Redis支持RDB和AOF

DBImport V3.7介绍: 1:先上图,再介绍亮点功能: 主要的升级功能为: 1:增加(Truncate Table)清表再插入功能: 清掉再插,可以保证两个库的数据一致,自己很喜欢这个功能. 2:信息栏增加红色部分: 黑色的信息太多,有时候错误信息被淹陌,分拆出来单独红色块标识错误信息,清晰一些. 3:增加保存所有的配置及配置还原: 之前只保存数据库链接的配置,为了第4点,包起了所有的配置,包括表名等. 4:增加自启动参数,用于定时功能的开机启动: 自启动参数为 - true 或 - 1

前言 接上文:(阅读本文前,建议阅读前两篇文章先) 浅谈Hybrid技术的设计与实现 浅谈Hybrid技术的设计与实现第二弹 根据之前的介绍,大家对前端与Native的交互应该有一些简单的认识了,很多朋友就会觉得这个交互很简单嘛,其实并不难嘛,事实上单从Native与前端的交互来说就那点东西,真心没有太多可说的,但要真正做一个完整的Hybrid项目却不容易,要考虑的东西就比较多了,单从这个交互协议就有: ① URL Schema ② JavaScriptCore 两种,到底选择哪种方式,每种方式