requests抓取数据示例

requests操作流程分析

- requests作用：模拟浏览器发起请求
- urllib：requests的前身
- requests模块的编码流程：
    - 指定url
    - 发起请求：
        - get（url,params,headers）
        - post（url,data,headers）
    - 获取响应数据
    - 持久化存储

- 参数动态化：
    - 有些情况下我们是需要将请求参数进行更改。将get或者post请求对应的请求参数封装到一个字典（键值对==请求参数）中，然后将改字典作用到get方法的params参数中或者作用到psot方法的data参数中
- UA检测（反爬机制）：
    - 什么是UA：请求载体的身份标识。服务器端会检测请求的UA来鉴定其身份。
    - 反反爬策略：UA伪装。通过抓包工具捕获某一款浏览器的UA值，封装到字典中，且将该字典作用到headers参数中
- 动态加载的数据
    - 通过另一个单独的请求请求到的数据
- 如果我们要对一个陌生的网站进行指定数据的爬取？
    - 首先要确定爬取的数据在改网站中是否为动态加载的
        - 是：通过抓包工具实现全局搜索，定位动态加载数据对应的数据包，从数据包中提取请求的url和请求参数。
        - 不是：就可以直接将浏览器地址栏中的网址作为我们requests请求的url

1：获取豆瓣电影名称及评分

# 抓取豆瓣电影名称及评分
url="https://movie.douban.com/j/search_subjects"
start=input("请输入的开始电影序号：")
limit=input("请输入想要抓取的电影数量：")
params={
    "type": "movie",
    "tag": "豆瓣高分",
    "sort": "recommend",
    "page_limit": limit,
    "page_start": start,
}
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36",
}
response=requests.get(url=url,params=params,headers=headers)
page_text=response.json()
for movie in page_text["subjects"]:
    print("电影名:《"+movie["title"]+"》---评分："+str(movie["rate"]))

运行结果

请输入的开始电影序号：5
请输入想要抓取的电影数量：15
电影名:《千与千寻》---评分：9.4
电影名:《这个杀手不太冷》---评分：9.4
电影名:《泰坦尼克号》---评分：9.4
电影名:《疯狂动物城》---评分：9.2
电影名:《少年的你》---评分：8.3
电影名:《霸王别姬》---评分：9.6
电影名:《阿甘正传》---评分：9.5
电影名:《绿皮书》---评分：8.9
电影名:《摔跤吧！爸爸》---评分：9.0
电影名:《怦然心动》---评分：9.1
电影名:《寻梦环游记》---评分：9.1
电影名:《盗梦空间》---评分：9.3
电影名:《寄生虫》---评分：8.7
电影名:《三傻大闹宝莱坞》---评分：9.2
电影名:《你的名字。》---评分：8.4

2：根据地点抓取指定地点肯德基门店名及详细地址

*只抓取第一页

# 根据地点抓取指定地点肯德基门店名及详细地址
url="http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword"
city=input("请输入城市：")
data={
    "cname":"",
    "pid":" ",
    "keyword": city,
    "pageIndex": "",
    "pageSize": "",
}
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36",
}
response=requests.post(url=url,data=data,headers=headers)
page_text=response.json()
for store in page_text["Table1"]:
    print(store["storeName"],store["addressDetail"])

*运行结果

请输入城市：徐州
徐州华联 淮海东路55号华联商厦1楼肯德基
徐州东站 津浦西路202号火车站一层
徐州沃尔玛 解放南路与和平路交叉口正翔商业广场一层1025单元
徐州云龙万达（万达二楼东） 庆丰路与和平路交叉口西北角万达广场
徐州高铁 高铁站1楼西出站口北侧
徐州站精选餐厅 火车站进站大厅一层
徐州老东门 淮海东路104号
徐州泉山大润发 北京路与欣欣路交叉口大润发超市一层
徐州铜山万达 北京北路19号
徐州苏宁 淮海东路苏宁广场负一层

**抓取所有页结果

# 根据地点抓取指定地点肯德基门店名及详细地址（自动获取页码数）
url="http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword"
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36",
}
city=input("请输入城市：")
data={
    "cname":"",
    "pid":" ",
    "keyword": city,
    "pageIndex": "",
    "pageSize": "",
}
response=requests.post(url=url,data=data,headers=headers)
rowcount=response.json()["Table"][0]["rowcount"]
if rowcount==0:
    print(city+"暂无门店...")
else:
    for index in range(1,rowcount):
        data={
            "cname":"",
            "pid":" ",
            "keyword": city,
            "pageIndex": index,
            "pageSize": "",
        }
        response=requests.post(url=url,data=data,headers=headers)
        page_text=response.json()
        for store in page_text["Table1"]:
            print("店名："+store["storeName"]+"    门店详细地址："+store["addressDetail"])

**运行结果

请输入城市：徐州
店名：徐州华联    门店详细地址：淮海东路55号华联商厦1楼肯德基
店名：徐州东站    门店详细地址：津浦西路202号火车站一层
店名：徐州沃尔玛    门店详细地址：解放南路与和平路交叉口正翔商业广场一层1025单元
店名：徐州云龙万达（万达二楼东）    门店详细地址：庆丰路与和平路交叉口西北角万达广场
店名：徐州高铁    门店详细地址：高铁站1楼西出站口北侧
店名：徐州站精选餐厅    门店详细地址：火车站进站大厅一层
店名：徐州老东门    门店详细地址：淮海东路104号
店名：徐州泉山大润发    门店详细地址：北京路与欣欣路交叉口大润发超市一层
店名：徐州铜山万达    门店详细地址：北京北路19号
店名：徐州苏宁    门店详细地址：淮海东路苏宁广场负一层
店名：徐州金山    门店详细地址：泰山街道金山东路三胞广场110号肯德基
店名：徐州复兴    门店详细地址：复兴北路复兴苏宁广场A座一层110号商铺
店名：徐州环球港    门店详细地址：徐海路8号环球港广场一楼3号门西侧
店名：徐州东站东站房    门店详细地址：鲲鹏路徐州东站 铺位号:XZDD-3F-07

3：爬取药监局中所有企业的详细信息

# 爬取药监局中所有企业的详细信息
url="http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList"
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36",
}
count=1
for index in range(1,3):
    data={
        "on": "true",
        "page": index,
        "pageSize": "",
        "productName":" ",
        "conditionType": "",
        "applyname":" ",
        "applysn": "",
    }
    response=requests.post(url=url,data=data,headers=headers)
    page_text=response.json()
    for company in page_text["list"]:
        id=company["ID"]
        comp_url="http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById"
        comp_data={
            "id":id,
        }
        detail_response=requests.post(url=comp_url,data=comp_data,headers=headers)
        print(count,detail_response.json())
        count+=1
        print("------------------------------------------"*3)

运行结果

1 {'businessLicenseNumber': '91440101MA5CYUF0XX', 'businessPerson': '陈飞', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市白云区均禾街清湖大塘大道11号（自主申报）', 'epsName': '广东天姿化妆品科技有限公司', 'epsProductAddress': '广州市白云区均禾街清湖大塘大道11号（自主申报）', 'id': '', 'isimport': 'Y', 'legalPerson': '陈飞', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200022', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '高文武', 'rcManagerDepartName': '白云区局均禾市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-01-16', 'xkDateStr': '2021-05-17', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
2 {'businessLicenseNumber': '91440101MA5CYGQF4K', 'businessPerson': '郎明', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市白云区园夏牌坊大街59号（自主申报）', 'epsName': '广东藻谷生物技术有限公司', 'epsProductAddress': '广州市白云区园夏牌坊大街59号（自主申报）', 'id': '', 'isimport': 'Y', 'legalPerson': '王智会', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200069', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '凌伟平', 'rcManagerDepartName': '白云区局太和市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-29', 'xkDateStr': '2020-04-30', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
3 {'businessLicenseNumber': '91440101MA59ETQ80L', 'businessPerson': '吴鉴雄', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）；粉单元（散粉类、块状粉类）；蜡基单元（蜡基类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市白云区钟落潭红旗路72号（自主申报）', 'epsName': '广州唐美化妆品有限公司', 'epsProductAddress': '广州市白云区钟落潭红旗路72号A栋3楼，B栋2楼', 'id': '', 'isimport': 'Y', 'legalPerson': '吴立群', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200068', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '宋欧', 'rcManagerDepartName': '白云区局钟落潭市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-29', 'xkDateStr': '2020-04-30', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
4 {'businessLicenseNumber': '91440101MA5D084Q88', 'businessPerson': '刘佳嘉', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市从化区城郊街丽都路168号5栋（一楼和二楼）', 'epsName': '正昊医药生物科技（广州）有限公司', 'epsProductAddress': '广州市从化区城郊街丽都路168号5栋（一楼和二楼）', 'id': '', 'isimport': 'Y', 'legalPerson': '刘佳嘉', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200067', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '宁聪', 'rcManagerDepartName': '从化区城郊市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-29', 'xkDateStr': '2020-04-30', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
5 {'businessLicenseNumber': '91440500MA5368DJ1A', 'businessPerson': '许立荣', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）；粉单元（散粉类、浴盐类）；蜡基单元（蜡基类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '汕头市龙湖区内充公白水坪工业厂房E座', 'epsName': '亨特酒店用品（汕头）有限公司', 'epsProductAddress': '汕头市龙湖区内充公白水坪工业厂房E座\r\n汕头市龙湖区珠津工业区珠津路32号', 'id': '', 'isimport': 'Y', 'legalPerson': '许立荣', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200065', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '林岑', 'rcManagerDepartName': '龙湖区市场监督管理局', 'rcManagerUser': '由日常监管机关指定', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-29', 'xkDateStr': '2020-04-30', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
6 {'businessLicenseNumber': '91440101MA5CJRQ26G', 'businessPerson': '董璐璐', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市白云区江高镇振华北路108号—1（自主申报）', 'epsName': '广州海辰医药生物科技有限公司', 'epsProductAddress': '广州市白云区江高镇振华北路108号-1 2栋3楼、4楼', 'id': '', 'isimport': 'Y', 'legalPerson': '董璐璐', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200050', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '董国昌', 'rcManagerDepartName': '白云区局江高市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-03-24', 'xkDateStr': '2020-04-30', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
7 {'businessLicenseNumber': '91440111673463966H', 'businessPerson': '吕新江', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市白云区均禾街罗岗十三社水基13号', 'epsName': '广州彩轩化妆品有限公司', 'epsProductAddress': '广州市白云区均禾街罗岗十三社水基13号', 'id': '', 'isimport': 'Y', 'legalPerson': '钱杏云', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20160156', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '梁汝烽', 'rcManagerDepartName': '白云区局均禾市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2024-07-28', 'xkDateStr': '2020-04-30', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
8 {'businessLicenseNumber': '91500112MA5U8AK28B', 'businessPerson': '田长陇', 'certStr': '一般液态单元（护发清洁类、护肤水类）；膏霜乳液单元（护肤清洁类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '重庆市渝北区回兴街道金锦路28号1号厂房名义层4、5层', 'epsName': '重庆熙妃萱日用化妆品有限公司', 'epsProductAddress': '重庆市渝北区回兴街道金锦路28号1号厂房名义层4、5层', 'id': '', 'isimport': 'N', 'legalPerson': '田长陇', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200423085054206ci5kc', 'productSn': '渝妆20170002', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '重庆市药品监督管理局', 'qualityPerson': '罗伟', 'rcManagerDepartName': '重庆市药品监督管理局检查四局', 'rcManagerUser': '段学军 郭睿', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2022-07-27', 'xkDateStr': '2020-04-29', 'xkName': '赵勇', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
9 {'businessLicenseNumber': '91220214732553110Y', 'businessPerson': '吴思丹', 'certStr': '膏霜乳液单元（护肤清洁类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '吉林市高新区深圳街95号', 'epsName': '吉林康乃尔药业有限公司', 'epsProductAddress': '吉林市高新区深圳街95号', 'id': '', 'isimport': 'N', 'legalPerson': '宋治国', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200408065448201svr5i', 'productSn': '吉妆20200004', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '吉林省药品监督管理局', 'qualityPerson': '李鸿雁', 'rcManagerDepartName': '吉林省药品监督管理局吉林检查分局', 'rcManagerUser': '杨学岩、杜力军', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-29', 'xkDateStr': '2020-04-29', 'xkName': '刘宝芳', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
10 {'businessLicenseNumber': '91220107MA1731KQ4E', 'businessPerson': '迟强', 'certStr': '一般液态单元（啫喱类、护发清洁类、护肤水类）；膏霜乳液单元（护肤清洁类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '长春市朝阳经济开发区三友路1118号企业孵化园二期14号后二楼', 'epsName': '汭蓝医疗科技（长春）有限公司', 'epsProductAddress': '长春市朝阳经济开发区三友路1118号企业孵化园二期14号楼', 'id': '', 'isimport': 'N', 'legalPerson': '迟强', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200401112936201cchj3', 'productSn': '吉妆20200003', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '吉林省药品监督管理局', 'qualityPerson': '马驰', 'rcManagerDepartName': '吉林省药品监督管理局长春检查分局', 'rcManagerUser': '栾洪斌、杨树德', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-29', 'xkDateStr': '2020-04-29', 'xkName': '刘宝芳', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
11 {'businessLicenseNumber': '91522636MA6GQ7MW5U', 'businessPerson': '何俊', 'certStr': '一般液态单元（啫喱类）；膏霜乳液单元（护肤清洁类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '贵州省丹寨县金钟经济开发区食品园第一幢', 'epsName': '贵州朗佑堂制药有限公司', 'epsProductAddress': '贵州省丹寨县金钟经济开发区食品园第一幢', 'id': '', 'isimport': 'N', 'legalPerson': '何俊', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200108091401206f26p4', 'productSn': '贵妆20190002', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '贵州省食品药品监督管理局', 'qualityPerson': '童许萍', 'rcManagerDepartName': '丹寨县市场监管局', 'rcManagerUser': '杨光权、蒙娟', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2024-10-21', 'xkDateStr': '2020-04-29', 'xkName': '廖昌晖', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
12 {'businessLicenseNumber': '91440804194580743Q', 'businessPerson': '吴景富', 'certStr': '一般液态单元（护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类）；其他单元', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '湛江市坡头区坡头镇工业开发区', 'epsName': '湛江寸草制药有限公司', 'epsProductAddress': '湛江市坡头区坡头镇工业开发区', 'id': '', 'isimport': 'Y', 'legalPerson': '吴景富', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200066', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '符健', 'rcManagerDepartName': '湛江市市场监督管理局', 'rcManagerUser': '蓝贤军、庞华', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-27', 'xkDateStr': '2020-04-28', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
13 {'businessLicenseNumber': '91530324566209276F', 'businessPerson': '赵燕敏', 'certStr': '一般液态单元（护发清洁类、护肤水类）；膏霜乳液单元（护发类、护肤清洁类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '罗平县轻工业园区', 'epsName': '云南万兴隆生物科技集团有限公司', 'epsProductAddress': '罗平县轻工业园区', 'id': '', 'isimport': 'N', 'legalPerson': '唐玉生', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200415131657201pawks', 'productSn': '云妆20200001', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '云南省食品药品监督管理局', 'qualityPerson': '王宝梅', 'rcManagerDepartName': '云南省药品监督管理局药品化妆品注册管理处', 'rcManagerUser': '吴羽、宋绍华', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-27', 'xkDateStr': '2020-04-27', 'xkName': '琚健', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
14 {'businessLicenseNumber': '91460100MA5T5GBJ9Q', 'businessPerson': '何晓东', 'certStr': '一般液态单元（护肤水类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '海口市高新区药谷二期药谷一路7号内行政办公楼二楼204房屋', 'epsName': '海南雁龙生物医药科技有限公司', 'epsProductAddress': '海南省海口市秀英区富康路13号', 'id': '', 'isimport': 'N', 'legalPerson': '何晓东', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200421081522206j874j', 'productSn': '琼妆20190002', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '海南省药品监督管理局', 'qualityPerson': '王安华', 'rcManagerDepartName': '海南省药品监督管理局', 'rcManagerUser': '孙厚石、曾佑校', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2024-07-10', 'xkDateStr': '2020-04-27', 'xkName': '刘鸿涛', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
15 {'businessLicenseNumber': '91440500582901852M', 'businessPerson': '陈贤鹰', 'certStr': '牙膏单元（牙膏类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '汕头市龙湖区万吉工业区龙江路13号D幢一楼', 'epsName': '广东法芭尚化妆品科技有限公司', 'epsProductAddress': '汕头市龙湖区万吉工业区龙江路13号D幢', 'id': '', 'isimport': 'Y', 'legalPerson': '陈贤鹰', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20160581', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '薛俊发', 'rcManagerDepartName': '汕头市龙湖区市场监督管理局', 'rcManagerUser': '由日常监督管理机关指定', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2022-02-27', 'xkDateStr': '2020-04-26', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
16 {'businessLicenseNumber': '91442000576488838F', 'businessPerson': '胡传义', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）；粉单元（散粉类、块状粉类、浴盐类）；气雾剂及有机溶剂单元（气雾剂类、有机溶剂类）；蜡基单元（蜡基类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '中山南朗华南现代中医药城完美路1号;增设1处经营场所具体为：中山市南朗镇华南现代中医药城健泰街4号一幢（一照多址）', 'epsName': '中山中研化妆品有限公司', 'epsProductAddress': '1、中山南朗华南现代中医药城完美路1号\r\n2、中山市南朗镇华南现代中医药城健泰街4号一幢B区', 'id': '', 'isimport': 'Y', 'legalPerson': '莫美玲', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20160510', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '黄婷婷', 'rcManagerDepartName': '中山市市场监督管理局', 'rcManagerUser': '由日常监督管理机构指定', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2021-08-01', 'xkDateStr': '2020-04-26', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
17 {'businessLicenseNumber': '91360301MA38151N3A', 'businessPerson': '卢海芝', 'certStr': '气雾剂及有机溶剂单元（有机溶剂类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '江西省萍乡市萍乡经济技术开发区东区（萍乡市五洲圣诞工艺品厂内三栋三楼）', 'epsName': '江西省山本生物科技技术有限公司', 'epsProductAddress': '江西省萍乡市萍乡经济技术开发区东区（萍乡市五洲圣诞工艺品厂内三栋三楼）', 'id': '', 'isimport': 'N', 'legalPerson': '卢海芝', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20191128201604201y14tg', 'productSn': '赣妆20200005', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '江西省药品监督管理局', 'qualityPerson': '郭兰华', 'rcManagerDepartName': '***', 'rcManagerUser': '***', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-26', 'xkDateStr': '2020-04-26', 'xkName': '吴腮忠', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
18 {'businessLicenseNumber': '91360825690986427N', 'businessPerson': '吴立富', 'certStr': '一般液态单元（啫喱类、护发清洁类、护肤水类）；膏霜乳液单元（护发类、护肤清洁类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '江西省吉安市永丰县工业园南区', 'epsName': '江西省欣琪生物科技有限公司', 'epsProductAddress': '江西省吉安市永丰县工业园南区生物医药产业园10栋', 'id': '', 'isimport': 'N', 'legalPerson': '吴立富', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20191128193504201ywoh1', 'productSn': '赣妆20200004', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '江西省药品监督管理局', 'qualityPerson': '杨青', 'rcManagerDepartName': '***', 'rcManagerUser': '***', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-26', 'xkDateStr': '2020-04-26', 'xkName': '吴腮忠', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
19 {'businessLicenseNumber': '9136098269096915XR', 'businessPerson': '付根平', 'certStr': '一般液态单元（护肤水类）；膏霜乳液单元（护肤清洁类）；粉单元（散粉类）；气雾剂及有机溶剂单元（有机溶剂类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '江西省樟树市永泰工业园区', 'epsName': '江西沐恩堂生物科技有限公司', 'epsProductAddress': '樟树市永泰镇105国道东侧', 'id': '', 'isimport': 'N', 'legalPerson': '付根平', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200403102606206b5ez9', 'productSn': '赣妆20180017', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '江西省食品药品监督管理局', 'qualityPerson': '黄昊', 'rcManagerDepartName': '***', 'rcManagerUser': '***', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2023-09-09', 'xkDateStr': '2020-04-26', 'xkName': '吴腮忠', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
20 {'businessLicenseNumber': '91330702MA2DBJDN5D', 'businessPerson': '张建荣', 'certStr': '一般液态单元-不含眼部用护肤类、婴儿和儿童用护肤类化妆品（护发清洁类）；膏霜乳液单元-不含眼部用护肤类、婴儿和儿童用护肤类化妆品（护发类）； ', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '浙江省金华市婺城区白龙桥镇宾虹西路3766号西边第一幢厂房', 'epsName': '安氧新材料科技（金华）有限公司', 'epsProductAddress': '白龙桥镇宾虹西路3766号西边第一幢厂房', 'id': '', 'isimport': 'Y', 'legalPerson': '张建荣', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '浙妆20190015', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '浙江省药品监督管理局', 'qualityPerson': '刘水平', 'rcManagerDepartName': '金华市婺城区市场监督管理局', 'rcManagerUser': '吕一强，董生法', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2024-05-05', 'xkDateStr': '2020-04-24', 'xkName': '苏志良', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
21 {'businessLicenseNumber': '91440101MA5CWC477N', 'businessPerson': '方日新', 'certStr': '粉单元（染发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市花都区炭步镇飞达路6号401厂', 'epsName': '广州德彩生物科技有限公司', 'epsProductAddress': '广州市花都区炭步镇飞达路6号401厂', 'id': '', 'isimport': 'Y', 'legalPerson': '方日新', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200064', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '廖国俊', 'rcManagerDepartName': '花都区炭步镇市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-23', 'xkDateStr': '2020-04-24', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
22 {'businessLicenseNumber': '91440111769512697R', 'businessPerson': '谢卫', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市白云区均禾街清湖村第五生产社', 'epsName': '广州市柔诗日用化工有限公司', 'epsProductAddress': '广州市白云区均禾街清湖村第五生产社', 'id': '', 'isimport': 'Y', 'legalPerson': '邝丽宏', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20170167', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '陈海红', 'rcManagerDepartName': '白云区局均禾市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2022-02-03', 'xkDateStr': '2020-04-24', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
23 {'businessLicenseNumber': '', 'businessPerson': '黄法雄', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）；粉单元（散粉类、浴盐类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市花都区花山镇两龙村育才路自编9号之一(可作厂房使用)', 'epsName': '广州市唯纳化妆品有限公司', 'epsProductAddress': '广州市花都区花山镇两龙村育才路自编9号之一(可作厂房使用)', 'id': '', 'isimport': 'Y', 'legalPerson': '黄法雄', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20170157', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '饶尚辉', 'rcManagerDepartName': '花都区局花山市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2022-01-25', 'xkDateStr': '2020-04-24', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
24 {'businessLicenseNumber': '91440184793496236T', 'businessPerson': '林永钦', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）；粉单元（散粉类、块状粉类）；蜡基单元（蜡基类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广东从化经济开发区高技术产业园福从路21号（厂房A三）二、三层', 'epsName': '广州市欧琪诗化妆品有限公司', 'epsProductAddress': '广东从化经济开发区高技术产业园福从路21号二、三层', 'id': '', 'isimport': 'Y', 'legalPerson': '林永钦', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20160195', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '陈仕芬', 'rcManagerDepartName': '从化区局太平市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2024-09-09', 'xkDateStr': '2020-04-24', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
25 {'businessLicenseNumber': '', 'businessPerson': '黄国平', 'certStr': '牙膏单元（牙膏类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '马鞍山经济技术开发区银黄东路892号', 'epsName': '安徽丽润科技有限公司', 'epsProductAddress': '马鞍山经济技术开发区银黄东路892号', 'id': '', 'isimport': 'N', 'legalPerson': '万建辉', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200320070942201ovyr6', 'productSn': '皖妆20200001', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '安徽省药品监督管理局', 'qualityPerson': '张民欣', 'rcManagerDepartName': '安徽省药品监督管理局', 'rcManagerUser': '***', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-04-23', 'xkDateStr': '2020-04-24', 'xkName': '吴丽华', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
26 {'businessLicenseNumber': '91230108MA1BP4P99J', 'businessPerson': '李勇', 'certStr': '一般液态单元（啫喱类、护发清洁类、护肤水类）；膏霜乳液单元（护发类、护肤清洁类）；粉单元（块状粉类、散粉类、浴盐类）；气雾剂及有机溶剂单元（气雾剂类、有机溶剂类）；蜡基单元（蜡基类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '黑龙江省哈尔滨市平房区会宾路1号', 'epsName': '哈尔滨铭渼化妆品有限责任公司', 'epsProductAddress': '黑龙江省哈尔滨市平房区会宾路1号', 'id': '', 'isimport': 'N', 'legalPerson': '吕奇辉', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '202004221451172065i5oj', 'productSn': '黑妆20190013', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '黑龙江省药品监督管理局', 'qualityPerson': '刘艳凤', 'rcManagerDepartName': '黑龙江省药品监督管理局', 'rcManagerUser': '张跃晨   郭欣', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2024-11-22', 'xkDateStr': '2020-04-24', 'xkName': '韩爱冬', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
27 {'businessLicenseNumber': '91120111600892567T', 'businessPerson': '吴元奎', 'certStr': '一般液态单元（护发清洁类）；膏霜乳液单元（护发类、护肤清洁类）；牙膏单元（牙膏类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '天津市西青区经济开发小区兴华七支路12号', 'epsName': '天津宝洁工业有限公司', 'epsProductAddress': '天津市西青区经济开发小区兴华七支路12号', 'id': '', 'isimport': 'N', 'legalPerson': '马睿思 ( Matthew Stuart Price )', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '20200403150929206nxrkg', 'productSn': '津妆20160006', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '天津市药品监督管理局', 'qualityPerson': '王硕', 'rcManagerDepartName': '天津市药品监督管理局', 'rcManagerUser': '林金鹏、王强', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2021-08-08', 'xkDateStr': '2020-04-23', 'xkName': '王栩冬', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
28 {'businessLicenseNumber': '', 'businessPerson': '王孔华', 'certStr': '一般液态单元-不含眼部用护肤类、婴儿和儿童用护肤类化妆品（啫喱类、护发清洁类）；膏霜乳液单元-不含眼部用护肤类、婴儿和儿童用护肤类化妆品（护发类）；气雾剂及有机溶剂单元（有机溶剂类）； ', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '浙江省温州市乐清市象阳工业区', 'epsName': '浙江章光101有限公司', 'epsProductAddress': '柳市镇象东社区怀仁西路1号', 'id': '', 'isimport': 'Y', 'legalPerson': '赵旭良', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '浙妆20160108', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '浙江省药品监督管理局', 'qualityPerson': '赵崇诚', 'rcManagerDepartName': '乐清市市场监督管理局', 'rcManagerUser': '金祎颋、黄利顺', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2021-10-25', 'xkDateStr': '2020-04-22', 'xkName': '苏志良', 'xkProject': '', 'xkRemark': '', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
29 {'businessLicenseNumber': '91440101MA5CWAK81U', 'businessPerson': '付向阳', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）；粉单元（散粉类、块状粉类）；蜡基单元（蜡基类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '广州市白云区太和镇南村窿美路4号（自主申报）', 'epsName': '广州阿伊莎医药生物科技有限公司', 'epsProductAddress': '广州市白云区太和镇南村窿美路4号（自主申报）', 'id': '', 'isimport': 'Y', 'legalPerson': '文新良', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20200037', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '李文清', 'rcManagerDepartName': '白云区局太和市场监管所', 'rcManagerUser': '监管机构指定人员', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2025-02-02', 'xkDateStr': '2020-04-22', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
30 {'businessLicenseNumber': '91440700MA521PTP0K', 'businessPerson': '湛高明', 'certStr': '一般液态单元（护发清洁类、护肤水类、啫喱类）；膏霜乳液单元（护肤清洁类、护发类）', 'cityCode': '', 'countyCode': '', 'creatUser': '', 'createTime': '', 'endTime': '', 'epsAddress': '江门市江海区江睦路133号2幢5楼', 'epsName': '江门市创美高品化妆品有限公司', 'epsProductAddress': '江门市江海区江睦路133号2幢5楼', 'id': '', 'isimport': 'Y', 'legalPerson': '湛高明', 'offDate': '', 'offReason': '', 'parentid': '', 'preid': '', 'processid': '', 'productSn': '粤妆20180243', 'provinceCode': '', 'qfDate': '', 'qfManagerName': '广东省药品监督管理局', 'qualityPerson': '林日平', 'rcManagerDepartName': '江门市市场监督管理局', 'rcManagerUser': '由日常监管机构指定', 'startTime': '', 'xkCompleteDate': None, 'xkDate': '2023-11-19', 'xkDateStr': '2020-04-22', 'xkName': '严振', 'xkProject': '', 'xkRemark': '无', 'xkType': ''}
------------------------------------------------------------------------------------------------------------------------------
​

总结

在使用requests进行爬取数据时，首先要判断数据请求类型是否为ajax请求（抓包工具判断），然后在进行爬取。