依稀记得,在2014年的某一天,一位运营电商平台的多年好朋友,找我帮忙:一个月内,实现抓取竞争对手在某电商平台上的所有产品信息并统计每个产品的点击率. 说出来有些不好意思,那些年,参与过的产品挺多的,有电子商务.大社保.智能家居.电力监控等平台,可惜没一个跟网络爬虫相关的. 尽管没接触过网络爬虫技术,但我相信我能搞定的,关键是朋友很信任我,答应完成后,请我吃海鲜大餐,为了龙虾,拼了. 在网上一顿狂搜后,发现有很多现成的并且开源的网络爬虫代码,只要稍作修改,几乎可以满足要求,无奈大多数是用Pyth…

为了方便你的学习,减轻负重,我特意将基础语法分成上下两部分.希望你喜欢这种方式,如果不喜欢,你可以跟我说,反正我是不会改的,哈哈~~. 如果上部分,你还没看的话,先去看<第4天 | 12天搞定Python,基础语法(上)>. python在处理数据时,不可避免的要进行数据类型之间的转换,诸如整型和字符串之间的转换. 4.5 类型转换 转换有隐式和显式转换,隐式也称自动转换,不用做处理.显示转换,也称为数据类型的强制类型转换,通过内置函数实现. 1. 转为整型 通过内置函数int(x [,bas…

在开发系统的过程中,经常会用到XML存储和传输数据,XML是一种用于标记电子文件使其具有结构性的标记语言,在博客中经常会见到. JSON是一种轻量级的数据交换格式,常被用在后端和前端的数据交互上,如你用Python提供后端WebService数据接口,App在调用这个接口时,收到的数据就是JSON文件. txt是最常见的一种文件格式 ,主要存文本信息,即为文字信息,现在的操作系统大多使用记事本等程序保存,大多数软件可以查看,如记事本,浏览器等. 10.1 XML文件 XML指可扩展标记语言(eX…

学了10多天Python基础知识了,是时候来点硬货了,看过<第1天 | 12天搞定Python,告诉你有什么用?>的老铁都知道,Python可用的领域挺多的.只是我长期待在企业,所以只能说说,它在企业中常用范围. 在企业中,我,有时会用Python进行数据爬取和分析:有时会用来快速开发Django Web系统:有时会为了提供工作效率,我会用Python对excel.word.ppt或pdf相关操作,进行高级处理. 有关Python在数据分析和Django Web方面的应用,我找专题介绍.在这,…

人力资源部漂亮的小MM,跑来问我:老陈,数据分析和爬虫究竟是关系呀?说实在的,我真不想理她,因为我一直认为这个跟她的工作关系不大,可一想到她负责我负责部门的招聘工作,我只好勉为其难地跟她说:数据分析,吃里,爬虫,爬外,合在一起就是吃里爬外. 大数据时代,要想进行数据分析,首先要有数据来源,单靠公司那几条毛毛雨(数据),分析个寂寞都不够,唯有通过学习爬虫,从外部(网站)爬取一些相关.有用的数据,才能让老板进行商业决策时的有据可依,而你,亦是老板. 一提到老板,漂亮的小MM,兴奋得不得了,马上大声问…

掌握多一门编程语言,多一种选择,多一份机遇,更何况学的是人见人爱,花见花开的Python语言.它目前可占据编程语言排行榜的第3名,是名副其实的"探花郎",无论用它做什么(网络爬虫.人工智能.Web应用等) ,咱都不亏,开篇有益. 有趣的话,多说两句,"无趣"的就总结概述.本章总结概述一下Python的发展历史和特点,详细介绍Python的运行和开发环境. 很多程序员,都不太喜欢了解编程语言的来源和发展历史,觉得那个读起来索然无味,废话多多,但我还是建议你抽点时间看看…

有了运行环境还不够,在程序的江湖里,还得有一把趁手的"兵器". 工欲善其事,必先利其器,在进行Python开发时,可选择 IDE挺多的,其中,以PyCharm. Eclipse+PyDev插件和VS Code为杰出代表,而且它们都是跨平台的,可以支持在Windows.macOS和Linux(如Ubuntu)下安装.运行.本章专门介绍PyCharm的详细安装步骤. 3.1 在Windows下安装 PyCharm是由JetBrains公司专门为Python开发量身定做的一款IDE.它带有一…

不知你是否见过建楼房的过程,没有的话,找个时间去瞧一瞧,看一看.看过之后,你就会明白.建楼房,只有打好地基之后,才能在砌墙,建的楼层越高,打的地基就越深. 学编程也一样,要想得心应手的应用,得先打好地基.要想入门,需要先掌握好基础语法.唯有扎好马步,方可练就上乘武功.喜欢小编的小伙伴可以加小编的Q群867067945,欢迎大家的加入 Python的马步,为简单的基础语法,上乘武功为数据分析.网络爬虫和Web系统.为了练好马步,我们先从编码规范蹲起. 4.1 编码规范优美胜于丑陋,明了胜于晦涩,简…

Visual Studio Code (简称 VS Code), 是一款免费并且开源的现代化轻量级代码编辑器,支持语法高亮.智能代码补全.自定义热键.括号匹配.代码片段等特性,并针对网页开发做了优化.通过安装插件,它可支持诸如Java.C.C++.Ruby.Python等多种编程语言. 软件美观优雅,简单易用,支持在Windows.macOS 以及 Linux上便捷安装,它是跨平台的源代码编辑器.用它来开发Python,效果杠杠的. 3.1 在Windows下安装 右键桌面[计算机]或[此电脑]…

倘若有人告诉你,他在学习Python编程,却没有安装运行环境,那你赶紧叫他滚,并离他远点,因为他在欺骗你的感情. 没有安装运行环境,程序根本无法跑起来,对错不能知根知底,试问是在学编程,还是在跟空气对话,又或者只是在背英语单词,不管他了,把Python安装起来了再说. 2.1 在Windows下安装 Python在Windows7和10下的安装步骤是一模一样的.我用Windows10为代表,说一下安装步骤.请自行查一下自己计算机的位数,是32还是64位的,然后去Python官网http://ww…

作者: TypingQuietly 原文链接: https://www.jianshu.com/p/d68c6da1587a 呵呵!作为一名教python的老师,我发现学生们基本上一开始很难搞定python的装饰器,也许因为装饰器确实很难懂.搞定装饰器需要你了解一些函数式编程的概念,当然还有理解在python中定义和调用函数相关语法的一些特点. 我没法让装饰器变得简单,但是通过一步步的剖析,我也许能够让你在理解装饰器的时候更自信一点.因为装饰器很复杂,这篇文章将会很长(自己都说很长,还敢这么多废…

12步轻松搞定Python装饰器 通过 Python 装饰器实现DRY(不重复代码)原则:  http://python.jobbole.com/84151/   基本上一开始很难搞定python的装饰器,也许因为装饰器确实很难懂.搞定装饰器需要你了解一些函数式编程的概念,当然还有理解在python中定义和调用函数相关语法的一些特点. 没法让装饰器变得简单,但是通过一步步的剖析,能够让你在理解装饰器的时候更自信一点.因为装饰器很复杂 1.函数 在python中,函数通过def关键字.函数名和可选…

译者:寒寻 译文:http://www.cnblogs.com/imshome/p/8327438.html 原文:https://dzone.com/articles/understanding-python 呵呵!作为一名教python的老师,我发现学生们基本上一开始很难搞定python的装饰器,也许因为装饰器确实很难懂.搞定装饰器需要你了解一些函数式编程的概念,当然还有理解在python中定义和调用函数相关语法的一些特点. 我没法让装饰器变得简单,但是通过一步步的剖析,我也许能够让你在理解…

一张图搞定OAuth2.0   目录 1.引言 2.OAuth2.0是什么 3.OAuth2.0怎么写 回到顶部 1.引言 本篇文章是介绍OAuth2.0中最经典最常用的一种授权模式:授权码模式 非常简单的一件事情,网上一堆神乎其神的讲解,让我不得不写一篇文章来终结它们. 一项新的技术,无非就是了解它是什么,为什么,怎么用.至于为什么,本篇文章不做重点探讨,网上会有各种文章举各种什么丢钥匙.发船票的例子供你去阅读,个人认为还是有些哗众取宠,没有聊到本质. 那我们就重点聊聊OAuth2.0是什么,…

http://www.cnblogs.com/xqin/archive/2013/06/06/3120887.html 前言 我写代码喜欢提取一些共通的东西出来,之前的一篇博客中说了如何用一个共通的viewModel和简洁的后台代码做查询页面,所有的查询页面都要对应一个数据录入的编辑及查看明细的页面,那么今天我们就来实现这个页面,同样我们也要使用一个共通的viewModel完成前台UI与JSON数据交互的处理,同样以超简洁的后台代码来处理保存. 需求分析 我们先弄明白我们要做怎么样一个编辑的页面…

对AFNetworking3.0+MBProgressHUD的二次封装,使用更方便,适用性非常强: 一句话搞定网络提示: 再也不用担心网络库更新后,工程要修改很多地方了!网络库更新了只需要更新这个封装好的库. 不足之处欢迎指正 使用方法简介: [MBProgressHUD showAutoMessage:@"自动消失"]; [MBProgressHUD showMessage:@"纯文字,不自动消失" ToView:self.view]; [MBProgressHU…

转载请注明来源: http://blog.csdn.net/kjunchen/article/details/50909410 使用BleLib的轻松搞定Android低功耗蓝牙Ble 4.0开发具体解释 演示样例源代码: https://github.com/junkchen/BleLib/tree/master/sample Android ble4.0开发基础篇:http://blog.csdn.net/kjunchen/article/details/50339549 BleLib是An…

前言 大家看标题就明白了我想写什么了,在做企业信息化系统中可能大家写的最多的一种页面就是查询页面了.其实每个查询页面,除了条件不太一样,数据不太一样,其它的其实都差不多.所以我就想提取一些共通的东西出来,再写查询时只要引入我共通的东西,再加上极少的代码就能完成.我个人比较崇尚代码简洁干净,有不合理的地方欢迎大家指出. 这篇文章主要介绍两个重点:1.前台viewModel的实现.2.后台服务端如何简洁的处理查询请求. 需求分析 查询页面要有哪些功能呢 1.有条件部输入查询条件(这个不打算做成共通的…

本机存放的路径: F:\教程\10天彻底搞定-webpack4.0 联想电脑代码存放的路径: D:\MyDemos\webpack4 10天彻底搞定-webpack4.0 1.webpack课程介绍 2.webpack基础配置 3.webpack打包出的文件解析 4.Html插件 5.样式处理(1) 6.样式处理(2) 7.转化es6语法 8.处理js语法及校验 9.全局变量引入问题 10.图片处理…

首先,不要把docker想的那么高大,它不就是先做个镜像,然后通过docker像虚拟机一样跑起来嘛...docker其实在真实业务场景中还是非常有局限性的.Dockerfile脚本也没那么好写,有些应用也没有那么好安装. 废话不多说,教你半天搞定docker! 安装依赖和docker 下载路径:http://down.51cto.com/data/699208 yum install docker-engine docker-engine-1.7.1-1.el6.x86_64.rpmepel-r…

彻底搞定char/wchar_t!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! (2013-07-17 10:18:28) 转载▼     从char/wchar_t到TCHAR(1)(发表时间: 2008-4-26 0:54:00) [评论] [打印] [字体:大 中 小] 本文链接:http://blog.pfan.cn/xman/34551.html 复制链接 分享到: 0 标签:字符串处理 一．ANSI和UNICODE 1．为什么要使用Unicode?  (1) 可以很容…

首先从标题说起,为啥说抓取网站数据不再难(其实抓取网站数据有一定难度),SO EASY!!!使用Fizzler全搞定,我相信大多数人或公司应该都有抓取别人网站数据的经历,比如说我们博客园每次发表完文章都会被其他网站给抓取去了,不信你们看看就知道了.还有人抓取别人网站上的邮箱.电话号码.QQ等等有用信息,这些信息抓取下来肯定可以卖钱或者干其他事情,我们每天都会时不时接到垃圾短信或邮件,可能就这么回事了,有同感吧,O(∩_∩)O哈哈~. 本人前段时间了写了两个程序,一个程序是抓取某彩票网站的数据(双…

1.语言中变量的实质 要理解C指针,我认为一定要理解C中“变量”的存储实质, 所以我就从“变量”这个东西开始讲起吧! 先来理解理解内存空间吧!请看下图: 内存地址→ 6 7 8 9 10 11 12 13 ----------------------------------------------------------------- ... | | | | | | | |.. ------------------------------- ---------------------------…

package LinkedListSummary; import java.util.HashMap; import java.util.Stack; /** * http://blog.csdn.net/luckyxiaoqiang/article/details/7393134 轻松搞定面试中的链表题目 * http://www.cnblogs.com/jax/archive/2009/12/11/1621504.html 算法大全(1)单链表 * * 目录: * 1. 求单链表中结点的个…

package BinaryTreeSummary; import java.util.ArrayList; import java.util.Iterator; import java.util.LinkedList; import java.util.List; import java.util.Queue; import java.util.Stack; /** * http://blog.csdn.net/luckyxiaoqiang/article/details/7518888 轻松…

前几天,一个用户的研发人员找到我了,说他们有个SQL语句非常慢,我说多慢?他们说:半个小时也没出结果.于是问他们要了SQL语句和执行计划,SQL语句就不能再这里贴出来了,下面是调整前的执行计划(略去某些细节信息): PLAN_TABLE_OUTPUT ----------------------------------------------------------------------------------------------------------------------------…

第一篇 变量的内存实质 一．先来理解C语言中变量的实质 要理解C指针,我认为一定要理解C中“变量”的存储实质,所以我就从“变量”这个东西开始讲起吧! 先来理解理解内存空间吧!请看下图: 内存地址→   6       7        8       9       10      11       12      13 ----------------------------------------------------------------------------------------…

KMP算法介绍及实现——轻松搞定KMP匹配算法 本文介绍了字符串匹配算法中的BF算法和KMP算法.本文中KMP算法介绍部分是关于KMP算法相关文章中最简洁的一篇文章之一.下一篇将继续介绍Horspool算法和BM算法. 现在我们用的大部分软件都含有查找/替换的功能,要完成查找替换功能就需要用到字符串匹配算法.字符串匹配的算法有很多,最著名的字符串匹配算法有:KMP算法,Boyer-Moore(BM)算法.如果要我们自己去实现字符串匹配功能,我们会怎样去做呢?当然,我们最容易想到的方法就是人们常说…

1.语言中变量的实质 要理解C指针,我认为一定要理解C中“变量”的存储实质, 所以我就从“变量”这个东西开始讲起吧! 先来理解理解内存空间吧!请看下图: 内存地址→ 6 7 8 9 10 11 12 13 ----------------------------------------------------------------- ... | | | | | | | |.. ------------------------------- ---------------------------…

面试大总结之一:Java搞定面试中的链表题目 分类: Algorithm Interview2013-11-16 05:53 11628人阅读 评论(40) 收藏 举报 链表是面试中常出现的一类题目,本文用Java实现了面试中常见的链表相关题目.本文主要参考整合重写了<轻松搞定面试中的链表题目>和 <算法大全(1)单链表>两篇大作.两篇大神的实现分别是C和C#,因为我更喜欢用Java面试,所以用Java重写了所有实现,并附上自己的一些思考注释.算法大全(1)单链表 尚未有一些问题尚…