最近在抓取一个页面表格时发现,用firefox提取的xpath,不能用,仔细分析后,发现是提取的xpath多了一个tbody标签.在xpath路径中删掉这段就好了. last_A5='/html/body/div[1]/table/tbody/tr/td/table[2]/tbody/tr[2]/td[2]' last_A5='/html/body/div[1]/table/tr/td/table[2]/tbody/tr[2]/td[2]' https://github.com/tiangolo…

学习python一周,学着写了一个爬虫,用来抓取360百科的词条,在这个过程中.因为一个小小的修改,程序出现一些问题,又花了几天时间研究,问了各路高手,都没解决,终于还是自己攻克了,事实上就是对list列表理解不够深入导致的.这个bug非常有借鉴意义,分享出现. 先看看终于抓取出的结果: watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gr…

继第三部分的DHCP服务器的设置成功,我们来做一个中继代理服务器的配置吧. 我们的虚拟机结构如图: 具体参考: (一)跟我一起玩Linux网络服务:DNS服务——BIND(/etc/named.conf./var/named)设置实现和解释 根据第三部分,我们在vm1上面部署了DHCP服务器,我们就在vm2上面配置中继服务,具体内容如下: 1.先在vm1下面同样配置DHCP的文件上多配置一个subnet ddns-update-style interim; ignore client-updat…

问题描述:用putty玩linux的时候由于以前用window 习惯写完东西按一下ctrl+s 保存,但是在putty一按下就不能再输入了.后来查找到:ctrl+s 是putty的一个命令大概是这样子:”Long long ago“ 某些旧的”哑终端“会在发送过来的数据太多,显示速度跟不上时发送一个Ctrl+s让对方等一下,然后再准备好继续显示时发送一个Ctrl+q.Putty“兼容”了这个特性.也有人说是Ctrl+s是锁定屏幕用的 .不管是怎样,当你不小心在Putty中按了Ctrl+s后再按一…

首先声明,我的文章不配图,就靠文字描述,然后自己体会,摸着石头体验吧! 从今天开始玩Linux,Ubuntu16.04据说是比较稳定的,界面友好,类似与Windows界面,也有Linux的命令终端,用起来有一种想要起飞的感觉,O(∩_∩)O哈哈~ 1.首先说安装步骤,就是怎么将Ubuntu16.04安装到你的计算机上了 下载Ubuntu16.04的ISO镜像文件,下载UltraISO启动盘制作工具,然后在Windows系统上安装UltraISO将一开始下载的Ubuntu16.04的ISO镜像烧至…

随着现代图像及视频处理技术的不断发展,人们对图像处理提出了新的要求,最近几年,图像的分辨率和扫描频率都有了较大范围的提升,1080P分辨率的视频已经非常流行,2K甚至4K分辨率的图像也在火热发展中. 基于软件的图像处理方法存在着一些局限性,尤其是计算速度和算法效率方面.所以大家很自然的就想到了FPGA作为嵌入式图像应用的平台.许多图像处理本身就是并行计算的,并且FPGA的编程硬件,本质上也是并行的. FPGA(Field-Program mable Gate Array),即现场可编程门阵列,它…

IEEE802.11数据帧在Linux上的抓取终于得到了梦寐的<802.11无线网络权威指南>,虽然是复印版本,看起来也一样舒服,光看书是不行的,关键还是自己练习,这就需要搭建一个舒服的实验环境,抓包是必不可少的了,因为只有详细分析802.11数据帧,才能深入理解协议的细节.软件上就是这个理,手上没设备还是不行,这可是搭建实验环境的第一步,巧妇难为无米之炊.设备问题很好解决,买一个就行了,最好买适合DIY的那种,既便宜又不怕折腾坏了,因此淘宝是一个好去处.我搞到了一个ralink的802.11…

目的: 在一台没有安装X-server的Debian服务器上实现命令行抓取网页快照 软件: xvfb(在命令行下实现对X-server的模拟,渲染图形进行缓存)-在没有安装X-Server的环境下提供图像渲染 CutyCapt(模拟浏览器对网页进行下载.HTML.css渲染.Javascript执行,并将最终渲染完成的网页进行快照)- 主力干将 Qt(CutyCapt是基于此框架开发的) 实践: 1.安装CutyCapt.Qt及相关软件包: 帮助 1 2 3 4 5 sudo apt-get i…

tcpdump是linux命令行下常用的的一个抓包工具,记录一下平时常用的方式,测试机器系统是ubuntu 12.04. tcpdump的命令格式 tcpdump的参数众多,通过man tcpdump可以查看tcpdump的详细说明,这边只列一些笔者自己常用的参数: tcpdump [-i 网卡] -nnAX '表达式' 各参数说明如下: -i:interface 监听的网卡. -nn:表示以ip和port的方式显示来源主机和目的主机,而不是用主机名和服务. -A:以ascii的方式显示数据包,…

linux命令行抓取网页快照-(xvfb+CutyCapt)   目的: 在一台没有安装X-server的Debian服务器上实现命令行抓取网页快照 软件: xvfb(在命令行下实现对X-server的模拟,渲染图形进行缓存)-在没有安装X-Server的环境下提供图像渲染 CutyCapt(模拟浏览器对网页进行下载.HTML.css渲染.Javascript执行,并将最终渲染完成的网页进行快照)- 主力干将 Qt(CutyCapt是基于此框架开发的) 实践: 1.安装CutyCapt.Qt及相…

前有Mimikatz,今有mimipenguin,近日国外安全研究员huntergregal发布了工具mimipenguin,一款Linux下的密码抓取神器,可以说弥补了Linux下密码抓取的空缺. 项目地址 https://github.com/LFODER/mimipenguin 使用实例 需求: ROOT权限 以下环境测试通过 Kali 4.3.0 (rolling) x64 (gdm3) Ubuntu Desktop 12.04 LTS x64 (Gnome Keyring 3.18.3…

01 前言+展示 各位小伙伴我又来啦.今天带大家玩点好玩的东西,用Python抓取我们的微信好友个性签名,然后制作词云.怎样,有趣吧~好了,下面开始干活.我知道你们还是想先看看效果的. 后台登录: 词云: 02 环境准备 Python版本:3.6.0系统平台:Windows 10 X64IDE:pycharm 相关模块:re模块:itchat模块:jieba模块:import matplotlib.pyplot模块:wordcloud模块:以及一些Python自带的模块. 03 获取个性签名 首…

windows下有Mimikatz,现在linux下有了mimipenguin,国外安全研究员huntergregal发布了工具mimipenguin,一款Linux下的密码抓取神器,弥补了Linux下密码抓取的空缺. 编写思路来自流行的windows密码抓取神器mimikatz 详情通过转储过程和提取那些包含明文密码可能性很高的行(hang),充分利用内存中的明文凭证.通过检查/etc/shadow文件hash,内存中的hash和正则匹配去尝试计算出每个单词的概率要求root权限已支持(以下环…

原文发表在我的博客主页,转载请注明出处. 前言 因为出差,前后准备总结了一周多,所以博客有所搁置.出差真是累人的活计,不过确实可以学习到很多东西,跟着老板学习做人,学习交流的技巧.入正题~ wireshark对于研究网络的人来说是一个必不可少的工具,从wireshark2.0开始,已经全面支持OpenFlow协议,对于研究SDN的人来说,也是一个很大的福音,今天就来介绍一个技巧--如何利用wireshark抓取远程linux上的数据包,利用这个技巧,我们不需要再搬个显示器到处跑,更不会对服务器束…

“一切皆Socket!” 话虽些许夸张,但是事实也是,现在的网络编程几乎都是用的socket. ——有感于实际编程和开源项目研究. 我们深谙信息交流的价值,那网络中进程之间如何通信,如我们每天打开浏览器浏览网页时,浏览器的进程怎么与web 服务器通信的?当你用QQ聊天时,QQ进程怎么与服务器或你好友所在的QQ进程通信?这些都得靠socket?那什么是socket?socket的类型 有哪些?还有socket的基本函数,这些都是本文想介绍的.本文的主要内容如下: 1.网络中进程之间如何通信? 2.…

转:http://blog.csdn.net/dog250/article/details/7749372 终于得到了梦寐的<802.11无线网络权威指南>,虽然是复印版本,看起来也一样舒服,光看书是不行的,关键还是自己练习,这就需要搭建一个舒服的实验环境,抓包是必不可少的了,因为只有详细分析802.11数据帧,才能深入理解协议的细节.软件上就是这个理,手上没设备还是不行,这可是搭建实验环境的第一步,巧妇难为无米之炊.设备问题很好解决,买一个就行了,最好买适合DIY的那种,既便宜又不怕折腾坏了…

tcpdump是Linux命令行下常用的的一个抓包工具,记录一下平时常用的方式,测试机器系统是ubuntu 12.04. tcpdump的命令格式 tcpdump的参数众多,通过man tcpdump可以查看tcpdump的详细说明,这边只列一些笔者自己常用的参数: tcpdump [-i 网卡] -nnAX '表达式' 各参数说明如下: -i:interface 监听的网卡. -nn:表示以ip和port的方式显示来源主机和目的主机,而不是用主机名和服务. -A:以ascii的方式显示数据包,…

tcpdump tcpdump是linux系统自带的抓包工具,主要通过命令行的方式,比较适合在线上服务器进行抓包操作,如果是windows或者ubuntu完全可 以选择一些图形化的工具,ubuntu比较推荐用wireshark,安装方式很简单sudo apt一下即可. 命令行格式:tcpdump [ -adeflnNOpqStvx ] [ -c 数量 ] [ -F 文件名 ][ -i 网络接口 ] [ -r 文件名] [ -s snaplen ][ -T 类型 ] [ -w 文件名 ] [表达式…

top在linux中是一个非常直观的命令,可以清晰地看到各进程对资源的使用情况.   但是如果你想从top命令展示中提取某些数据出来,如果想当然地使用这句命令: top|grep xxx 就会被卡住,欲哭无泪.   我们不妨查一下top这个命令,看看是否有其他办法来把数据抓出来.   首先简单了解一下top这个命令.   top是linux的一个性能分析工具,类似于windows的任务管理器.其最大特点有两个:动态.直观地显示进程占用资源情况. 执行top的时候,会在前台默认打开一个termin…

Linux内核源码 Documentation/sysctl/kernel.txt core_pattern: core_pattern: core_pattern is used to specify a core dumpfile pattern name. . max length characters; default value is "core" . core_pattern is used as a pattern template for the output file…

1.原始套接字使用场景 我们平常所用到的网络编程都是在应用层收发数据,每个程序只能收到发给自己的数据,即每个程序只能收到来自该程序绑定的端口的数据.收到的数据往往只包括应用层数据,原有的头部信息在传递过程中被隐藏了.某些情况下我们需要执行更底层的操作,比如监听所有本机收发的数据.修改报头等,而像SOCK_STREAM.SOCK_DGRAMZ则通常用于应用层,并不能满足该需求. 通过原始套接字,我们可以抓取所有发送到本机的IP包(包括IP头和TCP/UDP/ICMP包头),也可以抓取所有本机收到的…

问题描述 在App Service For Windows的环境中,我们可以通过ArmClient 工具发送POST请求在Web应用的实例中抓取网络日志,但是在App Service For Linux的环境中如何抓取网络包呢? 抓取Windows的网络包可参考博文:[应用服务 App Service]App Service中抓取网络日志 问题解决 通过SSH方式登录到Linux实例,使用tcpdump的工具抓取网络包, 通过IP地址和端口443来进行过滤,生成的网络包写入到tmp目录下的 ap…

这是Mysql系列第7篇. 环境:mysql5.7.25,cmd命令中进行演示. 电商中:我们想查看某个用户所有的订单,或者想查看某个用户在某个时间段内所有的订单,此时我们需要对订单表数据进行筛选,按照用户.时间进行过滤,得到我们期望的结果. 此时我们需要使用条件查询来对指定表进行操作,我们需要了解sql中的条件查询常见的玩法. 本篇内容 条件查询语法 条件查询运算符详解(=.<.>.>=.<=.<>.!=) 逻辑查询运算符详解(and.or) like模糊查询介绍 b…

今天在将开发环境中的门户数据库复制到新环境后,使用SqlSugar的ORM框架进行数据库操作的时候,出现了主键找不到的现象.排查了很久终于发现了关键点.特此记录. 1.开发环境:    操作系统:CENTOS7 64位    内存:    1GB    CPU     1/1    网络适配器:网桥模式    安装模式:最小化安装    系统语言设置:zh_CN.gb2312        数据库版本:MySQL 5.6.29 binary 模式安装    建立数据库之前:my.cnf参数配置 …

安装: 检测是否已经安装了mysql rpm -qa | grep mysql 如果已经安装了,将其卸载,如: rpm -e --nodeps  mysql-libs-5.1.71-1.el6.x86_64 安装mysql 1.mkdir /usr/local/src/mysql 2.cd /usr/local/src/mysql 3.tar -xvf sMySQL-5.6.22-1.el6.i686.rpm-bundle.tar 安装server rpm -ivh MySQL-server-5…

一.检查以前是否安装过MySql 因为cnetos7一般默认安装mariadb,所以要检查mysql或者mariadb是否安装 rpm -pa | grep -i mysql rpm -pa | grep -i mariadb 结果: 二.发现有的话就都卸载 rpm -e --nodeps 需要卸载的文件名 三.删除老版本MySQL的开发头文件和库 rm -rf /etc/my.cnf rm -rf /var/lib/mysql 注意:卸载后/var/lib/mysql中的数据及/etc/my.…

hello大家好,我是小楼. 最近踩了个DNS解析的小坑,虽然问题解决了,但排查过程比较曲折,最后还是有一点没有想通,整个过程分享给大家. 背景 最近负责的服务要置换机器.置换机器可能很多小伙伴不知道是干啥,因为大家平时接触不到,我简单解释一下什么是机器置换以及为什么需要机器置换. 机器置换通俗地讲就是更换机器,把服务从一台机器迁移到另一台上去. 为什么要机器置换呢? 表面原因可能是机器硬件故障.或者机器过了保修期. 有些小伙伴可能就想问,我在公司也负责了很多服务,为啥从来没有置换过机器呢?原因…

说到Android Toast,几乎都很熟悉吧,下面讲讲怎么实现下面几种场景: 1.连续点击一个按钮,每次都产生一个新的Toast并且调用show方法 问题:触发了toast以后,toast内容会一直排着队的显示出来,不能很快的消失 2.连续点击一个按钮,缓存一个Toast,每次都调用show方法 推荐:这种方式体验感觉最好,Toast消失的计时会从最后一次show之后才开始计算,还可以通过setText设置不同的内容 3.连续点击一个按钮,缓存一个Toast,每次先调用cancel再调用sho…

曾经公司pc端项目一直最低兼容到IE7,要求和chrome下浏览效果一致,真心坑坏了我和另外一个小伙伴(另一个小伙伴以前也没处理过兼容问题).不过还好,在这里真心感谢鑫哥博客的详解,从底层原理讲到了具体该如何解决(虽然我们踩过的许多无厘头的坑里面也没有),但是还是想把鑫哥的博客推荐出来,毕竟互联网时代的技术是共享的,张鑫旭:  http://www.zhangxinxu.com/,国内js大牛也许没有公认的最厉害的,但是鑫哥在我们小伙伴的眼里css基本上是NO1 废话就不说那莫多了,本来打算在一…

分享踩坑点: 项目中需要兼容360安全浏览器,大家当然都希望用极速模式打开网站,但是发现总是被兼容模式打开 网址类似 aa.xx.dd.com 网上找了很多地方,有以下两种方法 1.<meta http-equiv=X-UA-Compatible content="IE=edge,chrome=1"> 2.<meta name="renderer" content="webkit"> -------------------…