Python3 抓取豆瓣电影Top250

利用 requests 抓取豆瓣电影 Top 250：

import re
import requests

def main(url):
    global num
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"}
    req = requests.get(url, headers=headers)
    pattern = re.compile(r"<span class=\"title\">(.*?)</span>", re.S)
    for name in re.findall(pattern, req.text):
        if name.startswith("&"):
            continue
        else:
            print("%s: %s" % (num, name))
            num += 1

if __name__ == '__main__':
    num = 1
    for i in range(0, 256, 25):
        url = "https://movie.douban.com/top250?start=%s&filter=" % i
        main(url)

执行结果：

: 肖申克的救赎
: 霸王别姬
: 这个杀手不太冷
: 阿甘正传
: 美丽人生
: 泰坦尼克号
: 千与千寻
: 辛德勒的名单
: 盗梦空间
: 忠犬八公的故事
: 机器人总动员
: 三傻大闹宝莱坞
: 海上钢琴师
: 放牛班的春天
: 楚门的世界
: 大话西游之大圣娶亲
: 星际穿越
: 龙猫
: 教父
: 熔炉
: 无间道
: 疯狂动物城
: 当幸福来敲门
: 怦然心动
: 触不可及
: 乱世佳人
: 蝙蝠侠：黑暗骑士
: 活着
: 少年派的奇幻漂流
: 天堂电影院
: 控方证人
: 鬼子来了
: 十二怒汉
: 指环王3：王者无敌
: 天空之城
: 飞屋环游记
: 摔跤吧！爸爸
: 大话西游之月光宝盒
: 搏击俱乐部
: 罗马假日
: 哈尔的移动城堡
: 闻香识女人
: 窃听风暴
: 辩护人
: 两杆大烟枪
: 飞越疯人院
: 死亡诗社
: 末代皇帝
: 指环王2：双塔奇兵
: V字仇杀队
: 教父2
: 素媛
: 指环王1：魔戒再现
: 海豚湾
: 饮食男女
: 美丽心灵
: 狮子王
: 情书
: 寻梦环游记
: 钢琴家
: 美国往事
: 本杰明·巴顿奇事
: 小鞋子
: 黑客帝国
: 西西里的美丽传说
: 看不见的客人
: 让子弹飞
: 拯救大兵瑞恩
: 致命魔术
: 大闹天宫
: 七宗罪
: 哈利·波特与魔法石
: 被嫌弃的松子的一生
: 音乐之声
: 低俗小说
: 天使爱美丽
: 沉默的羔羊
: 勇敢的心
: 剪刀手爱德华
: 蝴蝶效应
: 猫鼠游戏
: 春光乍泄
: 心灵捕手
: 布达佩斯大饭店
: 禁闭岛
: 入殓师
: 穿条纹睡衣的男孩
: 幽灵公主
: 阿凡达
: 阳光灿烂的日子
: 第六感
: 玛丽和马克思
: 致命ID
: 狩猎
: 重庆森林
: 断背山
: 加勒比海盗
: 摩登时代
: 告白
: 大鱼
: 喜剧之王
: 一一
: 消失的爱人
: 射雕英雄传之东成西就
: 阳光姐妹淘
: 甜蜜蜜
: 爱在黎明破晓前
: 小森林 夏秋篇
: 侧耳倾听
: 红辣椒
: 倩女幽魂
: 驯龙高手
: 恐怖直播
: 风之谷
: 上帝之城
: 请以你的名字呼唤我
: 超脱
: 爱在日落黄昏时
: 菊次郎的夏天
: 幸福终点站
: 哈利·波特与死亡圣器(下)
: 小森林 冬春篇
: 杀人回忆
: 神偷奶爸
: 借东西的小人阿莉埃蒂
: 7号房的礼物
: 怪兽电力公司
: 萤火之森
: 唐伯虎点秋香
: 岁月神偷
: 超能陆战队
: 蝙蝠侠：黑暗骑士崛起
: 七武士
: 电锯惊魂
: 真爱至上
: 谍影重重3
: 疯狂原始人
: 萤火虫之墓
: 喜宴
: 东邪西毒
: 贫民窟的百万富翁
: 英雄本色
: 黑天鹅
: 无人知晓
: 记忆碎片
: 心迷宫
: 血战钢锯岭
: 傲慢与偏见
: 雨人
: 时空恋旅人
: 荒蛮故事
: 纵横四海
: 教父3
: 卢旺达饭店
: 玩具总动员3
: 达拉斯买家俱乐部
: 花样年华
: 完美的世界
: 海边的曼彻斯特
: 海洋
: 虎口脱险
: 恋恋笔记本
: 你看起来好像很好吃
: 被解救的姜戈
: 燃情岁月
: 二十二
: 头脑特工队
: 冰川时代
: 无敌破坏王
: 雨中曲
: 我是山姆
: 你的名字。
: 人工智能
: 爆裂鼓手
: 穿越时空的少女
: 魂断蓝桥
: 未麻的部屋
: 猜火车
: 三块广告牌
: 模仿游戏
: 一个叫欧维的男人决定去死
: 房间
: 罗生门
: 忠犬八公物语
: 完美陌生人
: 恐怖游轮
: 阿飞正传
: 魔女宅急便
: 香水
: 朗读者
: 浪潮
: 哪吒闹海
: 可可西里
: 黑客帝国3：矩阵革命
: 海街日记
: 谍影重重
: 战争之王
: 谍影重重2
: 牯岭街少年杀人事件
: 地球上的星星
: 一次别离
: 追随
: 青蛇
: 惊魂记
: 终结者2：审判日
: 疯狂的石头
: 撞车
: 源代码
: 再次出发之纽约遇见你
: 小萝莉的猴神大叔
: 步履不停
: 新龙门客栈
: 初恋这件小事
: 梦之安魂曲
: 爱在午夜降临前
: 东京物语
: 无耻混蛋
: 城市之光
: 天书奇谭
: 绿里奇迹
: 彗星来的那一夜
: 这个男人来自地球
: 海蒂和爷爷
: E.T. 外星人
: 末路狂花
: 血钻
: 勇闯夺命岛
: 聚焦
: 变脸
: 2001太空漫游
: 发条橙
: 秒速5厘米
: 黄金三镖客
: 卡萨布兰卡
: 黑鹰坠落
: 非常嫌疑犯
: 国王的演讲
: 我爱你
: 美国丽人
: 千钧一发
: 碧海蓝天
: 遗愿清单
: 疯狂的麦克斯4：狂暴之路
: 功夫
: 荒岛余生
: 英国病人
: 荒野生存
: 海盗电台
: 枪火
: 勇士