python 分析 知乎粉丝数据

昨天花了一下午写了一个小爬虫，用来分析自己的粉丝数据。这个真好玩！今天帮了群里好多大V也爬了他们的数据。运行速度：每分钟5千粉丝以上。暂时先写成这样，这两天要准备补考，没有时间继续玩这个。

下次要改进的地方：1、多线程 2、scrapy 3、深度数据 4、分布式爬虫

希望实现的功能：

• 1、地区、教育程度、注册时间、送粉识别、颜值检测
• 2、导出 h5超秀的界面 和完美的 xlsx 数据
• 3、对内容提出建议
• 4、对接微信后台实现自动化

下面是源码，经2019年8月21日测试可用：

from selenium.webdriver import Chrome,ChromeOptions
from requests.cookies import RequestsCookieJar
from lxml import etree
from pandas import DataFrame
import json,time,requests,re,os,clipboard

def sele_input_zhihu():
    '首次登陆知乎，需要输入账号密码'
    # 防止检测
    option = ChromeOptions()
    option.add_experimental_option('excludeSwitches', ['enable-automation'])
    driver = Chrome(options=option)
    # 登录
    driver.get("http://www.zhihu.com/")
    name=input("请输入手机号或邮箱:")
    pwd=input("请输入密码：")
    needPass=driver.find_element_by_xpath("//div[@class='SignFlow-tab']")
    needPass.click()
    driver.find_element_by_name("username").send_keys(name)
    driver.find_element_by_name("password").send_keys(pwd)
    submitBtn = driver.find_element_by_xpath("//button[@type='submit']")
    submitBtn.click()
    time.sleep(5)
    # 保存cookies
    cookies = driver.get_cookies()
    with open("cookies.json", "w") as fp:
        json.dump(cookies, fp)
    print("保存cookies成功！")
    driver.close()

def login_zhihu(s):
    '利用保存的cookies登录知乎'
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'
    }
    s.headers=headers
    cookies_jar = RequestsCookieJar()
    with open("cookies.json","r")as fp:
        cookies = json.load(fp)
        for cookie in cookies:
            cookies_jar.set(cookie['name'], cookie['value'])
    s.cookies.update(cookies_jar)
    print("登录成功！")

# 浅数据处理
# "users":{(.*), "questions":{}
def parse_infos(session,url,id):
    content = session.get(url).text
    info_json=re.search(r'"users":(.*}}),"questions":{}',content).group(1)
    json_dict=json.loads(info_json)
    items=[]
    for key in json_dict.keys():
        item = json_dict[key]
        if "name" in item.keys() and key!=id:
            custom = "是" if(item["useDefaultAvatar"]==False) else "否"
            thetype="普通用户" if(item["isOrg"]==False) else "机构号"
            gender="女" if(item["gender"]==0) else ("男" if (item["gender"]==1)else "未知")
            vip="否"if(item["vipInfo"]["isVip"]==False) else "是"
            items.append([item["urlToken"] , item["name"] , custom , item["avatarUrl"], item["url"] , thetype , item["headline"] , gender , vip ,  item["followerCount"] , item["answerCount"] , item["articlesCount"]])
    return items

def main():
    # 登录
    if not os.path.exists("cookies.json"):
        print("未登录账户，请登录！")
        sele_input_zhihu()
    session=requests.session()
    login_zhihu(session)

    # 需要的数据
    zhuye_url="https://www.zhihu.com/people/you-yi-shi-de-hu-xi/activities"     # 这个地方用来输入主页链接
    zhuye=re.match(r"(.*)/activities$",zhuye_url).group(1)
    id = re.match(r".*/(.*)$",zhuye).group(1)
    followers_url=zhuye+r"/followers?page={}"

    # 分析粉丝个数和页码
    html = etree.HTML(session.get(zhuye_url).text)
    text=html.xpath("//div[@class='NumberBoard FollowshipCard-counts NumberBoard--divider']//strong/text()")[1]
    follows = int("".join(text.split(",")))
    pages = follows//20+1
    print("关注者 "+str(follows)+"人，共 "+str(pages)+"页数据！")

    # 获取导出浅数据
    all_info = []
    for i in range(1,pages+1):
        infos_url = followers_url.format(i)
        print("正在获取第 "+str(i)+" 页数据...")
        array = parse_infos(session,infos_url,id)
        all_info+=array
    many=len(all_info)
    print("数据获取完成，共"+ str(many)+" 条数据！")
    data = DataFrame(data=all_info,columns=["id", "用户名", "自定义头像", "头像url", "主页链接", "类型", "一句话描述", "性别", "盐选会员",  "粉丝总数", "回答数", "文章数"])
    data.to_csv(id+"_浅数据.csv",encoding="utf-8-sig")
    print("数据已导出到"+ id+"_浅数据.csv！")

    # 生成粉丝数据报告
    wood=org=female=money=male=f2k=f5k=f10k=gfemale=gmale=0
    for info in all_info:
        if info[2]=="否" and info[9]==0 and info[10]<=2 and info[11]<=2: wood+=1
        if info[5]=="机构号": org+=1
        if info[7]=="女":
            female+=1
            if info[9]>=20: gfemale+=1
        else:
            if info[9]>=50: gmale+=1
        if info[7]=="男": male+=1
        if info[8]=="是": money+=1
        if info[9]>=10000: f10k+=1
        elif info[9]>=5000: f5k+=1
        elif info[9]>=2000: f2k+=1
    report="*"*40+"\n浅粉丝数据快览：在你所有 "+str(many)+" 个粉丝中：\n"+"共有僵尸粉 "+str(wood)+" 个，占比 "+"{:.4%}".format(wood/many)+" ，这可是相当"+(" 低 " if (wood/many)<0.2 else " 高 ")+"的比例。\n"+"另外，粉丝的男女比例为 1 : "+"{:.3}".format(female/male)+" ,看来你深受广大"+(" 女 " if (female>=male) else " 男 ")+"性同胞的喜爱！\n"+"靓女"+str(gfemale)+"人,靓仔"+str(gmale)+"人 【只统计有颜值的】\n"+"在你的所有粉丝里，氪金学习的用户有 "+str(money)+" 个,占比 "+"{:.3%}".format(money/many)+"，看来您的粉丝多为"+("高"if(money/many>0.045) else" 低 ")+"收入用户！\n"+" ◉ 粉丝10K+有 "+str(f10k)+" 人；\n"+" ◉ 粉丝5K-10K有 "+str(f5k)+" 人；\n"+" ◉ 粉丝2K-5K有 "+str(f2k)+" 人；\n"
    if org>=1:
        report+="除此之外，你的粉丝中还有 "+str(org)+" 位机构号！详细的报告快去 浅数据.csv 里看看吧！\n"
    clipboard.copy(report)
    print(report)

if __name__=="__main__":
    main()

运行截图：

这是我今天的粉丝报告：

---

浅粉丝数据快览：在你所有 9934 个粉丝中：

共有僵尸粉 2091 个，占比 21.0489% ，这可是相当 高 的比例。

另外，粉丝的男女比例为 1 : 0.352 ,看来你深受广大 男 性同胞的喜爱！

靓女123人,靓仔354人 【只统计有颜值的】

在你的所有粉丝里，氪金学习的用户有 477 个,占比 4.802%，看来您的粉丝多为高收入用户！

◉ 粉丝10K+有 11 人；

◉ 粉丝5K-10K有 7 人；

◉ 粉丝2K-5K有 17 人；

除此之外，你的粉丝中还有 1 位机构号！详细的报告快去 浅数据.csv 里看看吧！