# 起因 有个朋友叫我帮忙写个爬虫,爬取javbus5上面所有的详情页链接,也就是所有的https://www.javbus5.com/SRS-055这种链接, 我一看,嘿呀,这是司机的活儿啊,我绝对不能辱没我老司机的名声(被败坏了可不好),于是开始着手写了 # 构思 爬虫调度启动程序crawler.py 页面下载程序downloader.py 页面解析程序pageparser.py 数据库入库与去重管理程序controler.py 爬取入口为第一页,当页面中存在下一页的超链接继续往下爬,这是个

安装 squid yum install squid -y 备份squid.conf cp  squid.conf  squid.conf-list vi  squid.conf 输入: acl denyWeb dstdomain "/etc/squid/denyWeb.list" http_access deny denyWeb 也可以这样写: squid.conf  有一行代码  : 要把 http_access deny all 改为 http_access allow all

在 web 开发过程中我们经常遇到,不想让用户下拉看到我的地址,也有时候在 div 中没有惯性滚动,就此也出了 iScroll 这种关于滚动条的框架,但是就为了一个体验去使用一个框架好像又不值得,今天我就来说说我的思路 div 中惯性滚动问题 我们在开发 web 如果在,非 body 元素中使用 scroll 就会碰到一个问题,没有惯性滚动,所以以前我们要么使用 iScroll 这类框架,要么就是自己使用触摸事件配合定时器来写一个惯性,自己写的当然体验不好,使用框架又感觉太不值得,因为一个小功能

在MVC的逻辑代码里,Controller和Action是必须的,但是在网址里,并不需要完全体现Controller和Action.比如我们经常希望看到http://localhost/About而不是http://localhost/Home/About. 默认的路由规则 新建MVC应用程序后,Global.asax里默认注册的路由规则是: ? public static void RegisterRoutes(RouteCollection routes)         {        

Apache的 mod_rewrite是比较强大的,在进行网站建设时,可以通过这个模块来实现伪静态. 主要步骤如下: 1.检测Apache是否开启mod_rewrite功能     可以通过php提供的phpinfo()函数查看环境配置,找到“Loaded Modules”,其中列出了所有apache2handler已经开启的模块,如果里面包括“mod_rewrite”,则已经支持,不再需要继续设置.如果没有开启“mod_rewrite”,则打开目录 apache目录下的“/apache/con

前提给大家声明一下,我操作的环境是Mac终端下操作的.(前提是你先要下载好node.js) 说道URL 恐怕都不陌生,但是要说URL,就 必须先说下URI URI是统一资源标识符,是一个用于标识某一互联网资源名称的字符串.由是三个组成部分:访问资源的命名机制.存放资源的主机名.资源自身的名称,由路径表示. URL是统一资源定位,是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址.互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎

ASP.NET Core中如何配置Kestrel Urls呢,大家可能都知道使用UseUrls() 方法来配置. 今天给介绍全面的ASP.NET Core 配置 Urls,使用多种方式配置Urls. 让你了解ASP.NET Core Kestrel 的地址设置. 下面我们就来了解如何配置.我将介绍4种方式来配置Urls. 首先我们新建一个ASP.NET Core 空应用程序. UseUrls 大家最熟悉的一种也就是使用UseUrls .下面我们就来实际使用. UseUrls 方法可以使用多个地址

1.设置apache服务器的时候,文件的位置要写包含index.php的那个主文件夹. 2.apache和thinkphp默认index.html是作为网站的默认首页,所以在浏览器端可以直接输入网址进入网站首页. 3.要修改网站的默认首页可以从apache服务器中httpd.conf中修改,也可以再thinkphp默认的配置中修改.

highcharts学习网址1:http://www.hcharts.cn/docs/index.php?doc=basic(百度highcharts中文教程即可) highcharts学习网址2:http://www.helloweba.com/view-blog-156.html(Highcharts选项配置详细说明文档) 顺便将网址2的内容分享过来: Highcharts提供大量的选项配置参数,您可以轻松定制符合用户要求的图表,目前官网只提供英文版的开发配置说明文档,而中文版的文档网上甚少

Delphi打开网址链接的几种方法1.使用shellapi打开系统中默认的浏览器              首先需在头部引用 shellapi单元即在uses中添加shellapi,这里我们需要知道有3个api函数可以运行可执行文件WinExec.ShellExecut和CreateProcess.             下面为 ShellExecute的标准用法             ShellExecute(Application.Handle, nil, 'http://www.bai

前言:每个月忙碌的头20天后,在上班时间投入到django理论学习的过程中,花了差不多3天时间简单的研究了一下django,着实废了我不少脑细胞. 采用虫师前辈的一张图和话: 如果你把这过程梳理清晰了,那么你对django就算入门了. 一张流程图告诉你,django的处理流程: 正文:推荐django学习网址: django1.82官方学习网址:http://python.usyiyi.cn/django/index.html(大家在学习的过程中可以参与到django1.8汉化,希望早日djan

前言:这几天忙着写分析报告,实在没精力去研究django,虽然抽时间去看了几遍中文文档,还是等实际实践后写几篇操作文章吧! 正文:以下是本人前段时间学习bs4库找的一些网址,在学习的可以参考下,有点多,就不啰嗦了! 点击url左侧文字直接进入相关网页 点击url左侧文字直接进入相关网页 点击url左侧文字直接进入相关网页 BeautifulSoup使用总结:http://blog.chinaunix.net/uid-26722078-id-3519422.html Beautiful Soup

1 一个比系统自带的终端好用的软件:http://www.iterm2.com 2 学习和遇到技术问题可以去的网站: CocoaChina      http://developer.cocoachina.com/code/index?key_rules=21  cocoaChina开发者代码库 http://www.cocoachina.com/special/career求职者 Code4app       cede4App网站http://code4app.com/snippets  可以

/** * excel表格内容在网页中显示 * * 首先需要下载PHPExcel 工具包 * 网址: http://phpexcel.codeplex.com/releases/view/119187 * */ header("Content-type: text/html; charset=utf-8"); error_reporting(E_ALL); set_time_limit(0);//设置不超时 @ini_set('memory_limit', '512M');//设置PH

shortcut icon和icon代码之间究竟有何区别呢.下面介绍一下   语句一:<link rel="shortcut icon" href="favicon.ico" /> 语句二<link rel="icon" href="animated_favicon.gif" type="image/gif" /> 备注:语句一 Shortcut Icon 就是在网址列前面出现的Ic

一 .在网页上做加减法 1. 采用 /add/?a=4&b=5 这样GET方法进行 1 2 3 django-admin.py startproject zqxt_views cd zqxt_views python manage.py startapp calc 自动生成目录大致如下(因不同的 Django 版本有一些差异,如果差异与这篇文章相关,我会主动提出来,没有说的,暂时可以忽略他们之间的差异,后面的教程也是这样做): 1 2 3 4 5 6 7 8 9 10 11 12 13 zqxt

Django中网址是写在 urls.py 文件中,用正则表达式对应 views.py 中的一个函数(或者generic类),我们用一个项目来演示. 下载本节所有源代码: 学习编程最好的办法就是动手敲代码,请按照教程做,本节很简单,不提供源代码了,动手开始吧! 一,首先,新建一个项目(project), 名称为 mysite 1 django-admin startproject mysite 备注: 1. 如果 django-admin 不行,请用 django-admin.py 2. 如果是在

<script type="text/javascript">/* * 手机号码格式 * 只允许以13.15.18开头的号码 * 如:13012345678.15929224344.18201234676 */var regMobile=/^1[3,5,8]\d{9}$/; /* * 固定电话号码格式 * 因为固定电话格式比较复杂,情况比较多,主要验证了以下类型 * 如:010-12345678.0912-1234567.(010)-12345678.(0912)12345

最近有一个任务,从页面中抓取页面中所有的链接,当然使用PHP正则表达式是最方便的办法.要写出正则表达式,就要先总结出模式,那么页面中的链接会有几种形式呢?   链接也就是超级链接,是从一个元素(文字.图片.视频等)链接到另一个元素(文字.图片.视频等).网页中的链接一般有三种,一种是绝对URL超链接,也就是一个页面的完整路径:另一种是相对URL超链接,一般都链接到同一网站的其他页面:还有一种是页面内的超链接,这种一般链接到同一页面内的其他位置.   搞清楚了链接的种类,就知道要抓链接,主要还是绝

利用Github Pages展示自己的项目 写了个小项目,想要分享出去,一直在用Github管理项目,了解到Github还有Github Pages功能,然后惊喜的发现Github pages可以搭建博客或者托管网页,比什么买域名,部署到什么阿里云之类的服务器方便多了,心动不如行动,下面就来说一下它的使用过程吧!一: 注册账号:地址: (https://github.com/),如果有了账号直接登录就ok了! login.png 2.下载安装git:https://git-scm.com/dow