回顾爬虫的时候的一些小TIPS】的更多相关文章

1 json.dumps的时候默认会用ascii 所以在写入文件的时候会需要用到的指令变为json.dumps(a,ensuer_ascii=False),这样将禁止转换为ascii 然后再写入的时候用f.write(b.encode()) 2 xpath做解析的时候发请求头会产生问题,因为很多网站会根据不同的浏览器返回不同的DOM结构 所以很多的时候可以用一个相对老的版本的IE的user-agent 3 xpath   / . / .. // * @ [] | [] N/A () jsonpa…
小tips meta锚点跳转 http://www.zhangxinxu.com/wordpress/2015/03/meta-http-equiv-refresh-content/…
v:* { } o:* { } w:* { } .shape { }p.MsoNormal,li.MsoNormal,div.MsoNormal { margin: 0cm; margin-bottom: .0001pt; text-align: justify; font-size: 10.5pt; font-family: "Calibri", "sans-serif" } p.MsoHeader,li.MsoHeader,div.MsoHeader { mar…
1.优先使用数组而不是Object类型来表示有顺序的集合 ECMAScript标准并没有规定对JavaScript的Object类型中的属性的存储顺序. 但是在使用for..in循环对Object中的属性进行遍历的时候,确实是需要依赖于某种顺序的.正因为ECMAScript没有对这个顺序进行明确地规范,所以每个JavaScript执行引擎都能够根据自身的特点进行实现,那么在不同的执行环境中就不能保证for..in循环的行为一致性了. 比如,以下代码在调用report方法时的结果就是不确定的: f…
浅拷贝: function extendCopy(p) { var c = {}; for (var i in p) { c[i] = p[i]; } return c; } 深拷贝: function deepCopy(p, c) { var c = c || {}; for (var i in p) { if (typeof p[i] === 'object') { c[i] = (p[i].constructor === Array) ? [] : {}; deepCopy(p[i], c…
定义模型两种方法:  1.sequential 类仅用于层的线性堆叠,这是目前最常用的网络架构 2.函数式API,用于层组成的有向无环图,让你可以构建任意形式的架构 from keras import models from keras import layers model = models.Sequential() model.add(layers.Dense(32,activation='relu',input_shape=(784,))) model.add(layers.Dense(1…
大家新年好,今天MSPrecious为大家带来一些申请MVP奖励时的小Tips.   本文分为三个部分 MVP是什么 如何申请MVP 申请MVP需要注意的事项 MVP是什么? 我想,点进来看这篇文章的都应该知道MVP是微软最有价值专家(Most Valuable Professionals),但是大家普遍存在误会,MVP并不是微软认证专家,而是一种奖励,奖励给大力宣传微软技术的人.MVP的技术并不需要有多深入(虽然很多老师实力都非常强),所以大家也不要担心自己压根没有机会选上而放弃尝试(小蒋同学…
本文最开始是在2016年的文章 Win10应用<纸书科学计算器>更新啦! 发表之后撰写的,当时那篇文章收到了不少人点赞,应用在国内市场的日下载量也突然上涨,让我感到受宠若惊,这里要感谢Wp-apps专栏和你们的支持,我们都是喜欢和关注UWP的粉丝! 然而有几个小Tips和彩蛋,帮助页面上没地方写(也不想让用户看到太多字),但不说又觉得缺点什么,还是整理出来单独发篇文章吧.本文会跟着<纸书>的更新而保持更新,这些小Tips则基于<纸书>的最新版本. 1.表达式输入 有三种…
最近工作比较忙,但也积累了一些小tips,比较杂,不成系统,也并不很深入,就开一篇笼统的先记录一下,以后再深入挖掘. 1.-webkit-tap-highlight-color -webkit-tap-highlight-color 是一个 不规范的属性,它没有出现在 CSS 规范草案中. 当用户点击iOS的Safari浏览器中的链接或JavaScript的可点击的元素时,覆盖显示的高亮颜色. 该属性可以只设置透明度.如果未设置透明度,iOS Safari使用默认的透明度.当透明度设为0,则会禁…
Unity3D开发时中有一个小tips,这在官方的文档里其实有提及的,但不那么显眼,这里小说一下: 在MonoBehaviour进行编程时,我们经常会用this.transform, this.gameObject等属性来获取指定的对象. 在Visual Studio中按F12进入定义可以看到,这些属性都是getter.我们的每一次调用,Unity内部会从GameObject里搜寻这些Component,会有一定的损耗,因此,像在Update里频繁需要用到transform这类组件的时候,可以把…
Python codecs小Tips 用codecs.open读进来的字符串都是unicode表示的.…
小tips: zoom和transform:scale的区别 转自 张鑫旭 前端大神 by zhangxinxu from http://www.zhangxinxu.com本文地址:http://www.zhangxinxu.com/wordpress/?p=5019 一.IE和Chrome等浏览器与zoom 还在几年前,zoom还只是IE浏览器自己私有的玩具,但是,现在,除了FireFox浏览器,其他,尤其Chrome和移动端浏览器已经很好支持zoom属性了: zoom的字面意思是“变焦”,…
​ 一.一些为难前端的业务场景 在我的工作经历里,需要等待后端童鞋配合我的情形大概有以下几种: a.我们跟外部有项目合作,需要调用到第三方接口. 一般这种情况下,商务那边谈合同,走流程,等第三方审核,我们这边会直接开始开发,而这个时候还没有外部接口可以使用:或者是合同都谈妥了,但是第三方对接的工作人员排期还没有排到.总之是需要等. b.活动抢节点上线 一个比较赶时间节点(如七夕,双十一)的活动需求下来,前后端同时开发,后端还没有开发完接口可以调试. c.需要调用的接口很复杂. 本来我只需要一个简…
APP爬虫(1)想学新语言,又没有动力,怎么办? 书接上文.使用appium在帖子列表界面模拟上划动作,捕捉不到列表的规律.上划结束后,列表只能获取到屏幕呈现的部分,而且下标还是从0开始的. 根据酸奶爸爸多年码代码的经验,帖子肯定不是一次性加载完成的,一定会有分页,上划操作到某处APP一定会请求API接口.那么我们监听APP的网络请求不就能获取到帖子内容了吗! mac下使用charles这个软件实现. charles简介 配置好charles网络监听后又遇到拦路虎,APP的请求是https协议的…
Performance Tips 这篇文章主要是介绍了一些小细节的优化技巧,当这些小技巧综合使用起来的时候,对于整个App的性能提升还是有作用的,只是不能较大幅度的提升性能而已.选择合适的算法与数据结构才应该是你首要考虑的因素,在这篇文章中不会涉及这方面.你应该使用这篇文章中的小技巧作为平时写代码的习惯,这样能够提升代码的效率. 通常来说,高效的代码需要满足下面两个规则: 不要做冗余的动作 如果能避免,尽量不要分配内存 代码的执行效果会受到设备CPU,设备内存,系统版本等诸多因素的影响.为了确保…
1. 原地交换两个数字 Python 提供了一个直观的在一行代码中赋值与交换(变量值)的方法,请参见下面的示例: x, y = 10, 20 print(x, y) x, y = y, x print(x, y) #1 (10, 20) #2 (20, 10) 赋值的右侧形成了一个新的元组,左侧立即解析(unpack)那个(未被引用的)元组到变量 <a> 和 <b>. 一旦赋值完成,新的元组变成了未被引用状态并且被标记为可被垃圾回收,最终也完成了变量的交换. 2. 链状比较操作符…
前面通过python爬虫爬取过图片,文字,今天我们一起爬取下b站的小视频,其实呢,测试过程中需要用到视频文件,找了几个网站下载,都需要会员什么的,直接写一篇爬虫爬取视频~~~ 分析b站小视频 1.进入到抓取链接地址 http://vc.bilibili.com/p/eden/rank#/?tab=%E5%85%A8%E9%83%A8 2.分析抓取链接内容 通过F12或者抓包工具进行查看我们需要爬取的视频在哪里存放,页面以ajax动态加载的 3.分析请求内容和请求参数 通过查看请求内容得到这些数据…
1 # Python爬虫学习第一记 8.24 (代码有点小,请放大看吧) 2 3 #实现有道翻译,模块一: $fanyi.py 4 5 import urllib.request 6 import urllib.parse 7 import json 8 9 # word 是将要传入的翻译的内容 10 11 def fanyi(word): 12 while 1: 13 # 去掉url中的 _o 可以解决反爬虫机制 14 url = 'http://fanyi.youdao.com/transl…
这个效果是公司产品中一个用到的效果,用于展示项目的信息,废话少说,先上效果图,代码在最后:),这个组件是在上篇博客中用webpack搭建的环境中完成的http://www.cnblogs.com/wunan/p/5776117.html#3490750 (完全暴露了自己的喜好--) 组件中其实最重要的就是手势的几个事件的用法,在react中手势的事件被应用为onTouchStart,onTouchMove,onTouchEnd,通过对这几个事件的监听,完成图片随手势的移动. 先看一下dom结构…
一.重见天日第二春 11年的时候,写了篇文章“web页面相关的一些常见可用字符介绍”,这篇文章里面藏了个好东西,就是使用一些空格实现个数不等的中文对齐或等宽.见下表: 字符以及HTML实体 描述以及说明     这是我们使用最多的空格,也就是按下space键产生的空格.在HTML中,如果你用空格键产生此空格,空格是不会累加的(只算1个).要使用html实体表示才可累加.为了便于记忆,我总是把这个空格成为“牛逼(nb)空格(sp – space)”,虽然实际上并不牛逼.该空格占据宽度受字体影响明显…
最近入手了一台X401,因为机器本身比较薄,它的网卡接口是有卡扣的,插网线的时候卡扣往下沉,这种设计应该有很多机型都采用了.但是大家有没有发现啊,这种接口的卡扣,时间长了,可能会有点松动.为了保护爱机,大家插拔网线的时候,注意一下手法,接口就比较不容易松动啦!拍了个图~ 所谓带卡扣的网卡接口,是这样子滴: 下图这样直接拔的话,可能会拔不出来,如果使用蛮力的话,接口会比较容易坏掉,是不对滴: 正确的手法来啦! Tips:1.食指按住网线接头的卡扣:2.大拇指按住笔记本电脑键盘这一面的外壳边缘:3.…
1.nuget常用命令 nuget spec -a bin\Debug\DllName.dll -f //根据dll生成.nuspec文件,这样会生成无用的默认标签,比如licenseUrl.tags等 cd [ProjectDir] nuget pack //建议根据项目生成nupkg,并从中解压出nuspec文件,这样生成的内容最精简 nuget pack DllName.nuspec -Build -Prop Configuration=Release //根据nuspec打包,但Buil…
by zhangxinxu from http://www.zhangxinxu.com本文地址:http://www.zhangxinxu.com/wordpress/?p=4562 一.重见天日第二春 11年的时候,写了篇文章“web页面相关的一些常见可用字符介绍”,这篇文章里面藏了个好东西,就是使用一些空格实现个数不等的中文对齐或等宽.见下表: 字符以及HTML实体 描述以及说明     这是我们使用最多的空格,也就是按下space键产生的空格.在HTML中,如果你用空格键产生此空格,空格…
前言 笔者最近时间一直在学习和写Ruby和Go,尤其是Go,作为云计算时代的标准语言,写起来还是相当有感觉的,难过其会越来越火. 不过写的过程中,也遇到了一些小问题,本文就是分享关于go语言设置 HTTP请求当中 Host Header的一个小注意事项. 常规做法 通常我们在设置HTTP的Header请求时,一般都是这么做: Header.Add("Authentization", "TOKEN") Header.Add("Content-Type&quo…
 备忘 - Q:  webapp点击一个按钮调用系统拨号: <a href="tel:12345654321">打电话给我</a> <a href="sms:12345654321">发短信</a> 或用于单元格: <td onclick="location.href='tel:122'"> Q:如何用手机在上网的网页中链接访问跳转到手机本地qq上直接聊天? mqqwpa://im/ch…
很多人出行都会带着大包小包,东西胡乱塞成一团,导致每次要用的时候都翻个遍.所以今天游游君为大家推荐几个出门旅行的小技巧. 收拾行李时,把鞋子放进浴帽里.浴帽很容易洗干净,还可以防止鞋子把干净的衣服弄脏. 把各种电源线缠好放到旧眼镜盒里.ALL in ONE. 在包里装一个空瓶子,过了机场安检之后再拿出来接免费的水喝.不要放弃机场提供的免费品尝 H2O 的机会. 把衣服一件件卷起来塞进行李箱.这样既节省空间又不容易让衣服起皱,想找哪一件也一目了然. 把夹头发的小卡子放到空糖盒里.放在包里随用随拿,…
Zepto.js设计之初专为移动端,不对一些古董浏览器支持.所以,尺寸很小,压缩后20K多一点,但是,jQuery压缩后,3.*版本要80多K,1.*版本则要90多K,4倍差距. 由于每个页面都会使用,网站如果访问量大的话,省的流量费还是有那么一点点的. 从个人角度讲,使用最精简的资源. 原文链接:http://www.zhangxinxu.com/wordpress/2016/07/pc-website-use-zepto-js/ Zepto.js中文站:http://www.zeptojs.…
python爬虫入门 开发环境 ubuntu 16.04 sublime pycharm requests库 requests库安装: sudo pip install requests 第一个例子 import requests r=requests.get("http://www.baidu.com") r.encoding="utf-8" print r.text 运行结果如下,成功抓取了百度的源代码 现在来详细讲解 import requests 就是导入了…
学习Web安全好几年了,接触最多的是Sql注入,一直最不熟悉的也是Sql注入.OWASP中,Sql注入危害绝对是Top1.花了一点时间研究了下Mysql类型的注入. 文章中的tips将会持续更新,先说说这些天研究的 这里博主以数字类型注入类型进行讲解,字符类型同理,这里不在敖述. 我们的环境:phpstudy+mysql+php 我们的测试代码如下: <meta http-equiv="Content-Type" content="text/html; charset=…
原创: 金牌小编  行走在Python的江湖,那能不收藏一些锦囊妙计,今天分享给大家8个小技巧,希望在实战的时候有帮助! 01. 条件判断   condition=Trueif condition:    x=1else:    x=2print (x) 改成 x=1 if condition else 2print (x) 02. 大数字分割   如果几个非常大的数字比如相加的时候,一个数字后面很多零点时候,我们很难去点这个0,比如: num1=10000000000num2=10000000…