最近有一个任务,需要采集一批知名学者的性别信息.该任务的难点在于提供学者信息的网站并不会主动标注学者的性别性别,因此只能靠别的方法了. 对一个普通人来说,在网上判断一个人的性别的最快的方式就是看他的照片了,例如: 因此,我想可以利用爬虫抓取人物的头像照片,再利用现在已经很成熟的人脸检测技术,识别人物的性别. 一个简单的方案是: 利用 Google 搜索人物姓名,Google 通常会在展示知名人物搜索结果的同时,在右侧以一个小卡片的形式展示人物的维基百科简介以及照片等内容,这里的照片可以抓取下来:…

C++处理google  百度地图在网上查阅了很多都是通过浏览器方式显示地图信息, 跟我目前项目很不符合, 所以仔细研究了一下C++方式显示地图.通过地图投影以及墨卡托投影,在通过平面地图计算经纬度. 最终今天终于搞定的初步功能,鼠标移动位置显示经纬度.切换Zoom  选择地图信息. 再也不用为C++调用浏览器控件不方便等因素发愁了. 每天进步一点点. 放上部分代码: //墨卡托坐标转像素坐标void MercatorToPixel(DOUBLE pdX, DOUBLE pdY, int piZ…

开源与成熟商业的瓦片地图服务(TMS  2  WMTS),都有如下共同的特性,基本成为了标准: (1) 坐标系:WGS84 (2) 投影:墨卡托投影(Marcator,正轴等角圆柱投影) -------------------------------------------- 注:均为弧度. (3) 当经度范围在[-180,180],投影为正方形时,纬度范围:[-85.05113, 85.05113] (4) 图片大小:256*256 (5) 图片格式:jpg[有损压缩率高.不透明]   png…

转自:https://blog.csdn.net/youngkingyj/article/details/23365849 开源与成熟商业的瓦片地图服务(TMS  2  WMTS),都有如下共同的特性,基本成为了标准: (1) 坐标系:WGS84 (2) 投影:墨卡托投影(Marcator,正轴等角圆柱投影) -------------------------------------------- 注:均为弧度. (3) 当经度范围在[-180,180],投影为正方形时,纬度范围:[-85.05…

百度,google POI下载工具是可以对任意矩形范围,以及任意省市级区域的兴趣点数据进行下载,可以支持多线程下载,按分类下载,以及按关键字下载. 线程数可以自由设置16线程之内.下载格式为excel格式.数据内容包括百度(火星坐标,百度坐标,名称,地址,电话,类型,所属省市),google(火星坐标,名称,地址,电话,类型) 数据坐标精度在0.2米之内,同时提供坐标转换工具,支持火星坐标,百度坐标,wgs84无偏移坐标的转换. 百度POI下载工具:http://yunpan.cn/cfVTeA…

之前我在知乎回答了「日常生活中有哪些十分钟就能学会并可以终生受用的技能」,现在也整理分享给公众号的朋友们. 作为一个入坑8年国际贸易的老阿姨,真心推荐[google搜索大法](同样适用于百度). 2分钟就可以上手,能帮你更快速.更精准地找到有用的东西.工作找资料,生活追剧,查八卦,分分钟不在话下. 这就为你揭晓[6种日常又简单易上手的google搜索大法,大部分也适用于咱们百度],不用翻~墙~哟~ 01 善用“-” 减号,缩小搜索范围 “-”表示逻辑“非”操作, 指搜索结果要求不包含某些特定信息…

网页情况: 代码: import requests from requests.exceptions import RequestException from bs4 import BeautifulSoup as bs import re import time import pymysql def get_one_page(url): #得到一页的内容 try: headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x…

导入需要的模块 需要安装BeautifulSoup from urllib.request import urlopen, HTTPError, URLError from bs4 import BeautifulSoup import re 要抓取的内容里面的链接如图 打开网页审查查看标签如图: 可以看出内容属于标签dd 以及 dd的属性是 class="desc"则: 如果有异常则打印HTTPError, URLError异常内容 首先查找标签bsObj.find('dd', {'…

转载:http://www.csdn.net/article/2014-07-10/2820600 人工智能被认为是下一个互联网大事件,当下,谷歌.微软.百度等知名的高科技公司争相投入资源,占领深度学习的技术制高点,百度在2014年5月19日宣布曾领导谷歌的深度学习项目——Google Brain ,被誉为谷歌大脑之父的Andrew Ng加盟百度,正式领导百度研究院工作,尤其是Baidu Brain计划.7月7日,他应邀做客中国科学院自动化研究所,发表了<Deep Learning:Overvi…

http://janwen.iteye.com/blog/488659 Google百度  我老以为百度,Google的地图产品是自己开发的,原来是别人提供的数据, 百度的数据提供商有 北京世纪高通科技有限公司: 四维图新 Google的数据也是中国人提供的,好  北京图盟科技有限公司 卫星数据是老外提供的  GeoEye:  …