跟踪标记:1204/1222 功能及用途: 捕获SQL Server死锁信息,并自动存放到错误日志(ERRORLOG)中. 举例: USE tempdb GO CREATE TABLE t1(id int) CREATE TABLE t2(id int) GO --开启1204/1222跟踪标记(任何查询窗口) ,) --DBCC TRACEON(1205,3605,-1) --DBCC TRACEON(1206,3605,-1) --DBCC TRACEON(1222,-1) GO --查询窗…

一. 什么是跟踪标记 SQL Server 跟踪标记(Trace Flag),像是一个开关,可用来自定义SQL Server的某种行为或特性,在性能诊断,系统调试等方面较为常用.比如:开启1204或1222跟踪标记,可在errorlog里记录死锁信息的明细. 跟踪标记有会话级和实例级两种. 二. 如何开启跟踪标记 1. 在SQL Server 服务启动时开启 SQL Server服务从类似如下路径启动程序: C:\Program Files\Microsoft SQL Server\MSSQL1…

跟踪标记:3604 功能: 输出DBCC命令返回结果到查询窗口(通常是SSMS窗口),类似print命令的显示效果: 用途: 常用于获取DBCC IND, DBCC PAGE命令的输出结果,因为这2个命令默认不输出任何结果. 举例: USE master GO --开启跟踪标记 3604 ) --查看页:(1,1,10) dbid 1(master), file id 1, page 10 ,,) --关闭跟踪标记 3604 ) --无法查看页:(1,1,10) dbid 1(master),…

跟踪标记:610 功能: 用批量导入操作(Bulk Import Operations)加载数据时,对于索引组织表(即有聚集索引的表) 最小化日志: 上图为simple/bulk-logged恢复模式下,最小化日志的几种操作,其中包含了批量导入操作,而批量导入操作的最小化日志有一些前提条件,概括如下: 1. 目标表未用于复制: 2. 目标表上指定了TABLOCK: 3. 目标表上的索引情况,这条规则最复杂,见下表: 从表格可以看出: (1) 堆表的数据页一直可以最小化日志: (2) 聚集索引和非…

跟踪标记:834 功能: 在64位的windows环境下,为SQL Server开启这个跟踪标记,那么SQL Server 会使用大页(Large pages)为内存缓冲区(buffer pool)分配内存,从而可以提高CPU转换检测缓冲区(TLB: Translation Lookaside Buffer)的效率得以提升性能: 大页(Large Pages): 正常情况下windows内存是4KB的页,而大页的最小空间是2MB,也就是说分配的时候可能大于2MB: 转换检测缓冲区(TLB: Tr…

跟踪标记:1117 功能: 默认,同一个文件组下的多个文件,如果某个文件没有可用空间,且设置了自动增长,则该文件自动增长,其他文件大小保持不变: 开启后,同一文件组下的多个文件,如果某个文件没有可用空间,且设置了自动增长,文件组下所有文件同时增长,每个文件涨幅取决于自身filegrowth设置: 用途: 主要用于tempdb性能的优化,解释如下: 通常tempdb被配置为primary文件组下包含多个等大的数据文件,以最大化使用CPU,并且能有效减少对于PFS, SGAM, GAM的竞争(lat…

关键字:跟踪标记,跟踪 [1]常规dbcc命令 dbcc help('?') --查看dbcc 所有命令,常规下只有32个常用的dbcc TRACEON(2588) --指定了2588标记的话,你就可以看到未公开的dbcc命令了,同时你也可以看到各种命令参数的提示了.很多dbcc命令需要开启它才能使用,比如ind,page等dbcc help('checkdb') --帮助命令,使用其来查看命令用法,开启了上面的2588就可以用ind(查看堆表/索引组织表的数据也信息)了dbcc TRACEON…

<?php header("Content-type:text/html;charset=utf-8"); /** * Express.class.php 快递查询类 * @copyright chzeze * @lastmodify 2015-10-28 */ class Express { private $expressname =array(); //封装了快递名称 function __construct(){ $this->expressname = $this…

通过上一篇随笔的处理,我们已经拿到了书的书名和ISBN码.(网络爬虫: 从allitebooks.com抓取书籍信息并从amazon.com抓取价格(2): 抓取allitebooks.com书籍信息及ISBN码) 接下来将通过ISBN码去amazon.com获取每本书对应的价格. 一.了解需要和分析网站 通过分析amazon.com得知,以ISBN码作为搜索关键字可查找到对应的书. 结果页码就有这本书的价格,既然价格是以$符号开头,那就可以通过正则表达式得到价格.   通过正则表达式匹配价格代…

这一篇首先从allitebooks.com里抓取书籍列表的书籍信息和每本书对应的ISBN码. 一.分析需求和网站结构 allitebooks.com这个网站的结构很简单,分页+书籍列表+书籍详情页. 要想得到书籍的详细信息和ISBN码,我们需要遍历所有的页码,进入到书籍列表,然后从书籍列表进入到每本书的详情页里,这样就能够抓取详情信息和ISBN码了. 二.从分页里遍历每一页书籍列表 通过查看分页功能的HTML代码,通过class＝"current"可以定位当前页码所在span标签,此s…

往往在实际开发中,经常会用到一些如抓取网站信息之类的的操作,往往大家采用的是用一些正则的方式获取,但是有时候正则是很死板的,我们常常试想能不能使用jquery的选择器,获取符合自己要求的元素,然后进行操作,例如:我想获取一个网页中关于一款产品的链接,并从这些链接中获取相应产品的数据.如果写正则匹配网址也是 很纠结的事情.但如果能使用jquery选择器难道href的value,然后在验证 就是 一件非常愉快的事情了. 首先介绍一些今天用的框架:Jumony,这是一个html解析器.(关于html解…

废话不多说直接讲讲今天要做的事. 利用HttpClient和Jsoup技术抓取网页信息.HttpClient是支持HTTP协议的客户端编程工具包,并且它支持HTTP协议. jsoup 是一款基于 Java 平台的 网页html解析器,可直接解析某个 URL 地址.HTML 文本内容,提供了一套非常方便的 API接口,通过类似于 jQuery 的操作方法来操作数据. httpClient相关文档:http://hc.apache.org/httpcomponents-client-5.0.x/in…

1.概念:SpringCloudConfig 基础配置 2.具体内容 通过名词就可以发现,SpringCloudConfig 核心作用一定就在于进行配置文件的管理上.也就是说为了更好的进行所有微服务的配置项的管理,在 SpringCloud 设计架构里面就考虑到了针对于所有的核心配置文件(application.yml)进行的一项统一管理的工具. 2.1.SpringCloudConfig 的基本概念 现在可以思考一个问题:在一个实际的项目开发过程之中,有可能会出现有上百个微服务(创建微服务的标…

这是简易数据分析系列的第 16 篇文章. 这期课程我们讲一个用的较少的 Web Scraper 功能--抓取属性信息. 网页在展示信息的时候,除了我们看到的内容,其实还有很多隐藏的信息.我们拿豆瓣电影250举个例子: 电影图片正常显示的时候是这个样子: 如果网络异常,图片加载失败,就会显示图片的默认文案,这个文案其实就是这个图片的属性信息: 我们查看一下这个结构的 HTML(查看方法可见 CSS 选择器的使用的第一节内容),就会发现图片的默认文案其实就是这个 <img/> 标签的 alt 属性…

开始学习网络数据挖掘方面的知识,首先从Beautiful Soup入手(Beautiful Soup是一个Python库,功能是从HTML和XML中解析数据),打算以三篇博文纪录学习Beautiful Soup的过程,第一篇是Beautiful Soup基础知识,后两篇利用前边的Beautiful Soup知识完成一个简单的爬虫,抓取allitebook.com的书籍信息和ISBN码,再根据ISBN码去amazon.com抓取书籍对应的价格. 一.Beautiful Soup简介 网络数据挖掘指…

利用shell脚本分析网站数据 # define url time=$(date +%F) mtime=$(date +%T) file=/abc/shell/abc/abc_$time.log http=https://abc.com/abc/abc.do key='tender_sum' log_file=/abc/shell/abc/remind.log check_log=/abc/shell/abc/check.log function Mail(){ mail -s @qq.com…

  上周学习了BeautifulSoup的基础知识并用它完成了一个网络爬虫( 使用Beautiful Soup编写一个爬虫 系列随笔汇总 ), BeautifulSoup是一个非常流行的Python网络抓取库,它提供了一个基于HTML结构的Python对象. 虽然简单易懂,又能非常好的处理HTML数据,但是相比Scrapy而言,BeautifulSoup有一个最大的缺点:慢. Scrapy 是一个开源的 Python 数据抓取框架,速度快,强大,而且使用简单. 来看一个官网主页上的简单并完整的爬…

一.简介 美国国家漏洞数据库收集了操作系统,应用软件的大量漏洞信息,当有新的漏洞出现时,它也会及时发布出来． 由于信息量巨大,用户每次都需要到它的网站进行搜索,比较麻烦．如果能有个工具,每天自动分析它发布的漏洞数据库,如果发现有所需要的新漏洞信息,通过邮件自动发送给公司的系统或者安全管理员就好了． 下面我写的这个工具就是起到这个作用的．图片是工具自动发送的邮件截图: 它每天都会根据用户设置的关键字自动抓取 NVD 数据,然后和前一天抓取的数据进行对比分析,当发现今天有新的数据时就发送邮件给用户,…

伴随微信的红火,微信公众平台成为许多开发者的下一个目标.笔者本身对于这种新鲜事物没有如此多的吸引力.但是最近有朋友帮忙开发微信公众平台中一个成绩查询的功能.于是便在空余时间研究了一番. 主要的实现步骤是,通过PHP的CURL技术模拟登陆目标网站,通过登陆的用户,获取到用户的成绩信息,使用正则表达式对数据进行抓取和存储,使用HTML技术对数据进行重新弄排版. 微信公众平台的功能就是通过浏览的目的来实现成绩查询.整体的技术实现就在于PHP的CURL技术.下面就随便找了一个文件,获取成绩.具体代码如下…

前几天看到一篇博文:C# 爬虫 抓取小说 博主使用的是正则表达式获取小说的名字.目录以及内容. 下面使用HtmlAgilityPack来改写原博主的代码 在使用HtmlAgilityPack之前,可以先熟悉一下XPath:点我 代码如下: using System; using System.IO; using System.Text; using HtmlAgilityPack; namespace HtmlAgilityPackDemo { class Program { static vo…

1,jsoup简介 jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据.jsoup 是基于 MIT 协议发布的,可放心使用于商业项目. jsoup 的主要功能如下: 1. 从一个 URL,文件或字符串中解析 HTML: 2. 使用 DOM 或 CSS 选择器来查找.取出数据: 3. 可操作 HTML 元素.属性.文本: 2,jsoup使用 1,下载jsoup的…

我们计划抓取的数据:杭州的天气信息 实现数据抓取的逻辑:使用python 请求 URL,会返回对应的 HTML 信息,我们解析 html,获得自己需要的数据.(很简单的逻辑) 第一步:创建 Python 文件   写第一段Python代码   这段代码类似于 Java 中的 Main 方法.可以直接鼠标右键,选择 Run.   第二步:请求RUL python 的强大之处就在于它有大量的模块(类似于Java 的 jar 包)可以直接拿来使用. 我们需要安装一个 request 模块: File…

利用PhantomJS做网页截图经济适用,但其API较少,做其他功能就比较吃力了.例如,其自带的Web Server Mongoose最高只能同时支持10个请求,指望他能独立成为一个服务是不怎么实际的.所以这里需要另一个语言来支撑服务,这里选用NodeJS来完成. 源码地址 对源代码感兴趣的朋友可以在Github获取: https://github.com/miniflycn/url-extract 安装PhantomJS 首先,去PhantomJS官网下载对应平台的版本,或者下载源代码自行编译…

import pcap # 安装的是pypcap,本博客有安装方法,不过也比较乱,试试吧.import dpktimport socketimport datetime def sniffer(str): pc = pcap.pcap() for timestamp, buf in pc: eth = dpkt.ethernet.Ethernet(buf) if not isinstance(eth.data, dpkt.ip.IP): print('Non IP Packet type not…

一.介绍 本例子用Selenium +phantomjs爬取节目(http://tv.cctv.com/epg/index.shtml?date=2018-03-25)的信息 二.网站信息 三.数据抓取 针对上面的网站信息,来进行抓取 1.首先抓取信息列表 抓取代码:Elements = doc('div[class="epglist"]').find('ul') 2.节目名称,链接,时间 title = subEle('div[class="innerbox"]'…

抓取https://sf.taobao.com/item_list.htm信息 driver=webdriver.PhantomJS(service_args=['--ssl-protocol=any']) or driver = webdriver.PhantomJS( service_args=['--ignore-ssl-errors=true']) cur_driver=webdriver.PhantomJS(service_args=['--ssl-protocol=any', '--…

前面把基本的东西讲完了,之后就是数据的获取和解析显示出来了,那接下来我们就负责抓取数据的这块吧,首先我们须要 在清单文件中载入服务和活动 加入:. <activity android:name="com.neweriweibo.activity.OAuthActivity"/> <activity android:name=".MainActivity"/> <activity android:name="com.neweri…

1:清除电脑根证书: 打开dos命令框,输入:certmgr.msc  2:操作-查找证书-输入"fiddle":删除所有已查到的证书 ![file](https://img2018.cnblogs.com/blog/1023158/201912/1023158-2019120916125796…

一般经常使用invoke-restmethod和invoke-webrequest这两个命令来获取网页信息,如果对象格式是json或者xml会更容易 1.invoke-restmethod 我们可以用这个命令来抓取天气状况,样例如下 运行得到如下结果: 因为response得到的字符格式为GBK,目前博主还没有找到如何强制指定解析response时用的UTF-8编码 2.invoke-webrequest 这个命令的用法与上述基本一致 具体用法也可以参考我“通过Powershell检查SMTP地…

在使用Internet Download Manager(IDM)下载器时,有时会发现IDM自带的抓取功能过于强大,以至于有时会抓取一些无效的链接.那么,该如何避免IDM的过度抓取呢? 图1:IDM的下载任务界面 一.快捷键直接设置 大家了解的是,这些下载软件一般都是通过浏览器扩展来解决监控浏览器中的下载任务的.由于一些原因,这些监控措施会出现不准确的情况,下载到错误的.无法使用的文件.这时需要进行手动关闭浏览器监控功能. Insert这个快捷键可以解决这样的问题,大家在点击下载按钮时同时按住I…