需求场景: 我需要分析一个服务器访问日志,分析百度蜘蛛这个月对求索网页面的抓取情况. 分析问题: 我的一个access.log文件大小有35M,不可能直接通过打开查看.我需要过滤掉一些没有的信息,只保留蜘蛛访问的信息行. 实践过程: 命令工具: grep -n 'xxx' file > new file //grep参数解释: //grep查找命令,-n表示行数,xxx表示某字符串, file 要查找的文件 // > new file 导入到一个新的文件 1.利用grep字符串查找命令,筛选出

前提:Android SDK已安装并配置环境变量 1.手机USB调试模式打开,连接PC 2.cmd窗口,执行adb logcat >log.log   // 输出日志到一个log文件 或者执行adb logcat |find "app"    //查找关键词

通常调试时候需要抓取log信息,下面几种通过ADB命令来抓取log的方法: USB连接上手机,手机需要其他操作:然后运行ADB工具:输入不同的命令即可抓取对应的LOG信息. 抓取radio LOG信息命令: adb logcat -b radio -v time >log_radio.txt 抓取main LOG信息命令: adb logcat -b main -v time >log_main.txt 抓取event LOG信息命令: adb logcat -b events-v time

  [DESCRIPTION] 遇到Audio/Speech相关问题时,经常需要抓取相关log信息,总结抓取方法如下 [SOLUTION] 1.    通话声音相关的问题: Case 1: 通话中某一方或者双方都无声音,所需Log:VM Log :Register info ; Mobile Log :Modem Log Case 2: 输出设备routing 错误:Mobile Log:Register info 2.    音乐播放声音相关问题: Case 1: 某一设备没有声音输出,所需L

在Androidclient的測试过程中,有时候我们会遇到闪退等异常情况. 这时我们能够通过adb抓取log.从而给开发提供很多其它信息. 一.下载ADB.exe     在网上搜索"adb工具包"就能够找到非常多adb了,我们须要adb.exe. AdbWinApi.dll. AdbWinUsbApi.dll这3个文件,其它无所谓.将包括这3个文件的文件夹放入随意文件夹(这里放入d:\adb文件夹) 二.配置环境变量     电脑桌面上右击 计算机-->属性-->高级系统

在Android客户端的测试过程中,有时候我们会遇到闪退等异常情况.这时我们可以通过adb抓取log,从而给开发提供更多信息. 一.下载ADB.exe     在网上搜索“adb工具包”就可以找到很多adb了,我们需要adb.exe. AdbWinApi.dll. AdbWinUsbApi.dll这3个文件,其他无所谓.将包含这3个文件的文件夹放入任意目录(这里放入d:\adb目录) 二.配置环境变量     电脑桌面上右击 计算机-->属性-->高级系统配置-->环境变量,在 系统变量

在安卓应用的测试过程中,遇到 Crash 或者 ANR 后,想必大家都会通过 adb logcat 命令来抓取日志定位问题.如果直接使用 logcat 命令的话,默认抓取出的 log 文件包含安卓运行时产生的所有日志,给快速定位问题增加了时间成本. 这个问题可以通过一个简单的 Shell 脚本来解决,依然只有区区 20 行左右的代码. 脚本的编写思路是这样的: 1.通过 date 命令获取当前时间并赋值给变量 "DATE",格式为 "year/month/day/hour/m

top在linux中是一个非常直观的命令,可以清晰地看到各进程对资源的使用情况.   但是如果你想从top命令展示中提取某些数据出来,如果想当然地使用这句命令: top|grep xxx 就会被卡住,欲哭无泪.   我们不妨查一下top这个命令,看看是否有其他办法来把数据抓出来.   首先简单了解一下top这个命令.   top是linux的一个性能分析工具,类似于windows的任务管理器.其最大特点有两个:动态.直观地显示进程占用资源情况. 执行top的时候,会在前台默认打开一个termin

使用minicom也有很长时间了,只用minicom抓过uart log,但是从来没有去保存过这个log,也不知道有这个功能.后来在超级终端中发现有这个功能(传送->捕获文字),想想minicom应该也有这个功能才对,后来搜索找到怎么用了,方法如下: 首先打开minicom,然后按一下ctrl + a,松开后再按z键,会出现下面这个界面: 看到Capture on/off这项了吗,按下L键,会出现下面的窗口: 提示输入一个Capture的文件名,默认就是图中的minicom.cap,然后按一下回

上一卷中我们抓取了网页的所有内容,现在我们抓取下网页的图片名称以及连接 现在我再新建个爬虫文件,名称设置为crawler2 做爬虫的朋友应该知道,网页里的数据都是用文本或者块级标签包裹着的,scrapy框架里自带标签选择器HtmlXPathSelector,具体的使用规则可以查阅一下我就不介绍了 我们现在要爬取的内容是 网页的图片标题,以及网页的图片链接,所以我们需要在网站浏览器的控制台上查看标签内容属性 在控制台上我们发现: 我们所要抓取的内容在类名为showlist的div下的li标签下 所

上卷中我运用创建HtmlXPathSelector 对象进行抓取数据: 现在咱们再试一下其他的方法,先试一下我得最爱XPATH 看下结果: 直接打印出结果了 我现在就正常拼下路径 只求打印结果: 现在再说说 最常见的正则的用法说实话你要是初学者用很正常 我觉得正则不是特别好,但是还是要会的,它引入的模块与XPATH一样只需稍微修改些代码就行 使用方式分为两种 第一种: 直接对抓取结果进行匹配 第二种: 选择器内匹配

一 adb常用的几个命令1. 查看设备adb devices这个命令是查看当前连接的设备, 连接到计算机的android设备或者模拟器将会列出显示 C:\Documents and Settings\chenxtc>adb devices List of devices attached T619+   device 2. 安装软件 卸载软件 adb install <apk文件路径>adb uninstall <软件名> 4. 登录设备shelladb shelladb s

实时打印的主要有:logcat main,logcat radio,logcat events,tcpdump,还有高通平台的还会有QXDM日志     状态信息的有:adb shell dmesg,adb shell dumpstate,adb shell dumpsys,adb bugreport     讲解一下各自作用: 通过DDMS抓的其实跟用dos批处理抓的一样都是logcat的日志文件,ddms抓的通常是main缓存中的,就是应用程序打印的日志文件.不过ddms好处在于能够实时看到

要自当前光标位置向上搜索,请使用以下命令:         /pattern   Enter           其中,pattern   表示要搜索的特定字符序列.         要自当前光标位置向下搜索,请使用以下命令:         ?pattern   Enter           按下   Enter   键后,vi   将搜索指定的   pattern,并将光标定位在   pattern   的第一个字符处.例如,要向上搜索   place   一词,请键入:        

1. 在IDE中查看Log信息当程序运行垃圾回收的时候,会打印一条Log信息,其格式如下:D/dalvikvm: <GC_Reason> <Amount_freed>, <Heap_stats>, <External_memory_stats>, <Pause_time> GC_Reason表示导致垃圾回收的原因以及当前的回收类型,包括以下几类:    GC_CONCURRENT:当堆中对象数量达到一定是触发的垃圾收集    GC_FOR_MAL

安全过滤函数,用于过滤危险字符 function safe_replace($string) {  $string = str_replace(' ','',$string);  $string = str_replace(''','',$string);  $string = str_replace(''','',$string);  $string = str_replace('*','',$string);  $string = str_replace('"','"',$stri

wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.xxx.com/ "   --random-wait

4.手机录屏工具的推荐 Andriod:录屏大师,易录屏等等. iOS:AirPlayer,iTools. 5.如何抓取崩溃的log日志? android闪退获取日志方法: 1.下载adb工具包 2.注意事项 请确保电脑上只连接了一台手机设备(最好只连接一条USB线),同时确保手机已开启USB调试模式(可通过手机助手查看连接状态) 3.Adb工具包路径存放 最好放在硬盘根目录下.如图(3-1) 图3-1 4.使用dos命令窗口 可通过win+r弹出运行窗口,输入cmd:或者通过:开始->运行,输

1.下载adb工具包 也就是解锁软件,如果要解锁的话,需确认有fastboot 安装jdk.sdk 2.注意事项 请确保电脑上只连接了一台手机设备(最好只连接一条USB线),同时确保手机已开启USB调试模式(可通过手机助手查看连接状态) 3.使用dos命令窗口 可通过win+r弹出运行窗口,输入cmd:或者通过:开始->运行,输入cmd,然后回车打开dos命令窗口. 在dos窗口输入:cd D:\Android(cd后面需空格,路径是你adb存在的路径),然后回车进入到工具包文件夹内.(如图3-

场景 我们的app常常会出现某个特定用户的手机出现异常情况,(注意不是所有用户,特定机型特定用户)如果用友盟,那么多log你也抓不完 ,看不到log就无法解决问题. 那么问题来了,如何实现对特定某个用户实时抓取log呢,比如我就想要用户id为 lixiaodaoaaa这个用户的日志信息呢?(用户自己不知道我们要抓她的log,对了你可以干点邪恶的事) 发送通知给他,而接收到通知,设备可以啥都不提示,可以干点邪恶的事,不过我想想还是算了.(他的log.我们默认log都会用LogUtils保存在特定目

今天测试软件时,遇到一个bug,因为开发说那边不复现,所以为了更好追踪这个问题,需要抓取复现步骤地log. 在网上查了相关资料,同时结合自己遇到的问题,总结如下. 1. 抓取Android 应用log的方法 2. adb server is out of date.killing的解决办法 3. 在Eclipse中怎样成功连接Android手机 1. 抓取Android 应用log的方法有很多,只写出自己所用的方法 安装Android SDK 打开命令行 进入sdk所在文件夹,找到adb.exe