由于这个应用出问题非常影响用户体验:于是立马让运维保留现场 dump 线程和内存同时重启应用,还好重启之后恢复正常.于是开始着手排查问题.…

using AnfleCrawler.Common; using System; using System.Collections.Concurrent; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace AnfleCrawler.DataAnalyzer { public class ManualAnalyzer : An…

https://jzh.12333sh.gov.cn/jzh/ https://superuser.com/questions/171917/force-a-program-to-run-without-administrator-privileges-or-uac http://pogostick.net/~pnh/ntpasswd/bootdisk.html cmd /min /C "set __COMPAT_LAYER=RUNASINVOKER && start "…

1. url: http://mail.yw.gov.cn/ 2. target:登录js 3. 简单分析: 寻找加密js: 3.1 直接寻找加密的参数p是不好找的,所以我们试着去寻找一些更明显的参数 3.2 然后我们直接去找“pp”参数,找到这里,打上断点去调试,一步步执行下去看看: 3.3 经过上面的步骤,我们不难发现,加密js就在下面不远处.. 3.4 这下就很清晰了,具体细节大家可自行调试,把加密的js 抠出来,运行即可. js: navigator = {}; var dbits; v…

1. url: http://zzxt.hee.gov.cn/ 2. target: 登录加密 3. 简单分析: 这个应该很容易就能找到加密的js,直接拿出来就好. 4. js: /* * md5 * Copyright(c) 2006, Jack Slocum. * * This code is licensed under BSD license. Use it as you wish, * but keep this copyright intact. */ var hexcase = 0…

故障现象: 修改nginx配置参数后,使用nginx -t检查配置,出现告警提示 nginx: [warn] conflicting server name "aaa.7yule.cn" on 0.0.0.0:80, ignored 故障原因: 自己新增配置中的域名在其他配置中存在,一个域名做了两个配置文件导致的.删除一个配置文件就可以了…

1.FastReport中如果访问报表中的对象?可以使用FindObject方法.TfrxMemoView(frxReport1.FindObject(’memo1′)).Text:=’FastReport’; 2.FastReport中如何使用上下标?设置frxmemoview.AllowHTMLTags := True;在Text输入如下上标:mm²下表:k₆举一反三,你还可以使用其他HTML标记. 3.Fas…

 C#调用WebService实现天气预报 2011-02-21 14:24:06 标签:天气预报 休闲 WebServices 职场 C# 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://zhangkui.blog.51cto.com/1796259/497324 本文使用Winform (C#)调用互联网上公开的WebServices(http://www.webxml.com.cn/WebServices/Weather…

前言: 这个Oday是以前就有的,不过都没有人出过详细的使用教程,昨天帮群里某学院拿了他们的学校之后突然想起来这个Oday,而且实用性还很强,所以我就想分享到这里来了 关键字:inurl:siteserver intitle:管理员登录 后台地址:/siteserver 演示站点:http://qlsz.hbwdj.gov.cn/ 首先我来到后台,看到界面是这样的 看到没,左下角有个忘记密码于是我就点进去了,下面的界面是这样的,于是我就输入了admin,因为一般默认帐号都是admin 我看到用户…

很多人在注册域名的时候不明白域名后缀的含义,在这里就介绍两种最为常用的域名,介绍下他们的区别以及适用的范围.需要先查询是否被注册,我们经常去的就是西部数据和万网,查询并注册未被注册的域名,一般无论是什么域名 首年都为50元之下,第二年可能会加几元,   从国家范围看:.com域名是国际域名,全球通用顶级域名:而.cn是国内域名,此域名由中国互联网络管理中心"(CNNIC)发放与注册登记,美国的则是.us.   从域名顶级类别看:.com 是国际顶级域名:而.cn 是国家级顶级域名   从使用角度…

详细出错代码: org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: org.apache.ibatis.executor.ExecutorException: A query was run and no Result Maps were found for the Mapped Statement 'cn.mgy.mapper.UserMapper.findById'. I…

教你如何查看CAD文件是哪个版本的 http://blog.sina.com.cn/s/blog_4c9fa4dd0101il1v.html (2013-03-10 22:24:52) 转载▼ 标签: 教育 分类: AutoCAD实用技巧 在工作中会遇到打开一张图纸时出现“图形文件无效”的提示,大部都是因为用低版本软件打开了高版本的图纸.而又如何真正确认该文件是用哪个版本创建的,以下教大家一个辨别的方法.正常的DWG文件可以通过记事本或者其他文本软件打开,看开头几个字节就知道版本号了 Versi…

问题地址: http://www.thegrouplet.com/thread-112923-1-1.html 问题: 网站配有太多的模板是否影响网站加载速度 月光答复: wp不需要删除其他的模板,不影响速度 问题地址: http://www.thegrouplet.com/thread-112926-1-1.html 问题: 除了WORDPRESS大家还用什么其他的博客程序额? 月光答复: Typecho这种虽然简单,但是如果你有特殊需要,找插件和模板就难多了 各有各的好  ... 问题地址:…

开篇 匆匆这一年又快结束了,眼看年关将近,老婆的生日也快到了,正打算给老婆买个礼物,由于现在老婆用的手机是公司的工程机,而且还是低端产品,所以一直想给老婆改善改善,也算是对老婆这一年来辛苦的默默的支持的一种肯定吧,于是我就开始网上找,哎……最近听说iphone6不错啊,火的不得了, 好吧就肾6了.没有多想打开京东,搜索产品,下单,支付一气呵成,比写代码的感觉还流畅还爽. 话说京东的物流还是很给力的,带着激动的心情收到iphone6plus,看到外观的确比较惊艳,2.5D屏幕,纤细的机身,结果操作…

re正则表达式里面,常用的三种方法的区别. re.macth和search匹配得到的是match对象,findall得到的是一个列表. match从字符串开头开始匹配,search返回与正则表达式匹配的第一个子串,findall则返回所有匹配到的. 如果要匹配的东西是字符串中唯一的只有一个或者直线那个取一个,最好不用findall,findall能匹配所有必然会查找整个字符串,search找到一个就结束查找了.废话不多说,选取一个页面源码大的网页,例如获取新浪网页的编码. #coding=utf…

此文主要是 中国天气网和中国环境监测总站的数据抓取 打算开放全部数据抓取源代码 已在服务器上 稳定运行半个月 webapi http://api.xuzhiheng.cn/ 常量 /// <summary> /// 环保部抓取数据链接 /// </summary> public const string HBUrl = "http://datacenter.mep.gov.cn/report/air_daily/airDairyCityHour.jsp"; //…

我们都知道 在requests中可以使用 requests.get(url,params)的方式传值 那么在scrapy中如何传值呢 直接看代码 from urllib.parse import urlencode params = { 'wbtreeid': '5571', 'searchtext': '', 'wsbslistCURURI': 'ED1C87781DBB6EE748D288AAF4957433', 'wsbslistKEYTYPES': '4,4,4,12,12,93', '…

AsyncTask解析数据 AsyncTask主要用来更新UI线程,比较耗时的操作可以在AsyncTask中使用. AsyncTask是个抽象类,使用时需要继承这个类,然后调用execute()方法.注意继承时需要设定三个泛型Params,Progress和Result的类型,如AsyncTask<Void,Inetger,Void>: Params是指调用execute()方法时传入的参数类型和doInBackgound()的参数类型 Progress是指更新进度时传递的参数类型,即publ…

rotatelogs 是 Apache 2.2 中自带的管道日志程序,参数如下(参见:http://lamp.linux.gov.cn/Apache/ApacheMenu/programs/rotatelogs.html) 语法 rotatelogs [ -l ] logfile [ rotationtime [ offset ]] | [ filesizeM ] 选项 -l 使用本地时间代替GMT时间作为时间基准.注意:在一个改变GMT偏移量(比如夏令时)的环境中使用-l会导致不可预料的结果.…

get和post方式总结 get方式:以URL字串本身传递数据参数,在服务器端可以从'QUERY_STRING'这个变量中直接读取,效率较高,但缺乏安全性,也无法来处理复杂的数据(只能是字符串,比如在servlet/jsp中就无法处理发挥java的比如vector之类的功能). post方式:就传输方式讲参数会被打包在数据报中传输,从CONTENT_LENGTH这个环境变量中读取,便于传送较大一些的数据,同时因为不暴露数据在浏览器的地址栏中,安全性相对较高,但这样的处理效率会受到影响. get…

条件随机场知识扩展延伸 作者:白宁超 2016年8月3日19:47:55 [摘要]:条件随机场用于序列标注,数据分割等自然语言处理中,表现出很好的效果.在中文分词.中文人名识别和歧义消解等任务中都有应用.本文源于笔者做语句识别序列标注过程中,对条件随机场的了解,逐步研究基于自然语言处理方面的应用.成文主要源于自然语言处理.机器学习.统计学习方法和部分网上资料对CRF介绍的相关的相关,最后进行大量研究整理汇总成体系知识.文章布局如下:第一节介绍CRF相关的基础统计知识:第二节介绍基于自然语言角度的…

爬虫用于从网上得到目标数据,根据需要对其予以利用,加以分析,得到想要的实验成果.现在讲一讲我这两天学到的东西. 第一,爬虫的算法结构,包括以下几个方面: (1)读取网络数据 (2)将获取的数据解析为目标格式,进而筛选出想要的数据 (3)将有用数据存于本地数据库中 第二,具体实施方案 (1)读取网络数据,需要用到urllib和urllib2两个库,和需要爬取数据的资源定位符URL. 通过url,将网页所有数据1 request = urllib2.request(url) response = u…

代码: - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view. self.title=@"EGOImageViewDemo"; //实现网络图片的异步加载和缓存 EGOImageView *imageView = [[EGOImageView alloc] initWithPlaceholderImage:[UIImage imageNamed:@&quo…

这是一个稍微复杂的demo,它的功能如下: 输入专利号,下载对应的专利文档 输入关键词,下载所有相关的专利文档 0. 模块准备 首先是requests,这个就不说了,爬虫利器 其次是安装tesseract-ocr,pytesseract 和 PIL 「用于识别验证码」 1. 模拟登陆 我们需要对 这个网站 专利检索及分析 进行分析,反复鼓捣之后发现,找不到下载链接? tell my why? 原来是没有登陆. 果然,登陆之后能够找到下载按钮,并手动下载成功. 注意到,在登陆和下载的同时,还需要输…

一 .常用命令 1 dir无参数:查看当前所在目录的文件和文件夹./s:查看当前目录已经其所有子目录的文件和文件夹./a:查看包括隐含文件的所有文件./ah:只显示出隐含文件./w:以紧凑方式(一行显示5个文件)显示文件和文件夹./p:以分页方式(显示一页之后会自动暂停)显示.|more:前面那个符号是"\"上面的那个,叫做重定向符号,就是把一个命令的结果输出为另外一个命令的参数.more也是一个命令,dir /w |more得到的结果和dir /w /p的结果是一样的.其他的参数大家…

多种格式数据加载.处理与存储 实际的场景中,我们会在不同的地方遇到各种不同的数据格式(比如大家熟悉的csv与txt,比如网页HTML格式,比如XML格式),我们来一起看看python如何和这些格式的数据打交道. 2016-08 from __future__ import division from numpy.random import randn import numpy as np import os import sys import matplotlib.pyplot as plt n…

Ubuntu下配置python完成爬虫任务(笔记一) 目标: 作为一个.NET汪,是时候去学习一下Linux下的操作了.为此选择了python来边学习Linux,边学python,熟能生巧嘛. 前期目标是完成环境配置,apt的简单操作. 之后按照网上的文档学习一下python的操作,顺便用python写爬虫功能.由于有用C#写爬虫的底子,应该能少走许多弯路. 再接下来,就安装配置一下redis,用python读写一下redis.最后小程序跑起来.这个初级学习过程就算结束了.[15Day] 正文:…

1. 基础概念篇   a.简介 HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写.它的发展是万维网协会(World Wide Web Consortium)和Internet工作小组IETF(Internet Engineering Task Force)合作的结果,(他们)最终发布了一系列的RFC,RFC 1945定义了HTTP/1.0版本.其中最著名的就是RFC 2616.RFC 2616定义了今天普遍使用的一个版本--HTTP 1.1. HTTP协…

<TextBlock Grid.Row=" Margin="75,0,0,0"> <Hyperlink Name="BlogHl" Click="BlogHl_Click" NavigateUri="http://www.cnblogs.com/ZXdeveloper/">http://www.cnblogs.com/ZXdeveloper/</Hyperlink> </Te…

不少朋友反映,Hawk的手气不错,好像没法处理动态页面.其实很容易,比其他软件都容易,让我慢慢道来. 1. 什么是动态页面 很多网站,在刷新的时候会返回页面的全部内容,但实际上只需要更新一部分,这样可大大节约带宽.这种方式一般叫ajax,服务器传递xml或者json到浏览器,浏览器的js代码执行,并将这些数据渲染到页面上. 所以,真正获取数据的url,不一定是你在浏览器上看到的,而且里面会涉及到一些js调用,本质上,js启动了一些新的web请求来获取数据,只要你能模拟这些web请求(我们称之为隐…