感悟] 写完这篇日志后,有调了一段时间程序,又有了一点心得分享下: 一)爬稳定的数(dong)据(xi)最好存储下来,特别是数据库在国外的那种,下载时间成本太高昂了,存起来再处理,会节约很多时间: 二)对于python使用多线程写数据到sqlite数据库的做法绝对是浪费感情,是扯淡的行为,一个词叫“大材小用”,单线程足够了. 三)写数据到数据库中commit的次数最好减少,可以10000条insert后commit,当然这取决于事务本身和其他因素,我这里可以提升一倍的速度. 四)回到爬的数据上,…

基于Windows下处理Java错误:编码GBK的不可映射字符的解决方案 最近在研究Java,涉及命令行编译,使用notepad++编辑器,然后使用javac编译: 之前的几个文件没有中文的内容,都没有产生错误,这次有中文就产生这样的错误! 解决方案 方案一.指定编码 javac -encoding utf-8 CommonClassLoader.java 方案二.修改文件编码 注意 当文件是utf-8编码时,不能有BOM,否则也会有错误,如下图:…

把写好的sql脚本,并在mssqlmanager里面编译成功的存储过程脚本复制到vs项目下,出现错误信息如下:SQL71006: Only one statement is allowed per batch. A batch separator, such as 'GO', might be required between statements.加上GO,出现 Error 5 SQL70001: This statement is not recognized in this context…

今天编写类的程序的时候不小心把类后的分号忘写了,就出现上面的错误提示. 顺便复习下类的正确格式: class 类名 { public: //习惯上将公有类型放在前面,便于阅读 ……(外部接口) protected: …… (保护型成员) private: ……(私有成员) }; //这里的分号千万不能忘写,不然会出现错误error: 2533:constructors not allowed a return type…

删除了系统原带的sqlite3 ,到官网上下一个源码,重新编译安装sqlite3. 如:把sqlite3安装到 /usr/local/sqlite3tar zxf sqlite3.xxxx.tar.gzcd sqlite.3.xxxx./configura --prefix=/usr/local/sqlite3make && make installcd .. 最后在编译Gearman时带上 --with-sqlite3=/usr/local/sqlite3,告诉编译器应该使用这个新的sq…

修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项: <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</…

解决办法, 再大dao的实现类上添加注解: @Transactional(readOnly = false ) 不让它只读就行了…

如何取消图片透明度  本文永久地址为 http://www.cnblogs.com/ChenYilong/p/3989954.html,转载请注明出处. 当你试图通过<预览>进行"导出"操作时 (比如把jpg图片通过<预览>"导出"为png, 或者将png图片"导出"为png图片)时, 导出的图片默认包含透明度,这就会导致以下错误, (images contain alpha channels or transparenc…

在导大容量数据特别是CLOB数据时,可能会出现异常:“Packets larger than max_allowed_packet are not allowed”. 这是由于MySQL数据库有一个系统参数max_allowed_packet,其默认值为1048576(1M) 可以通过如下语句在数据库中查询其值: show VARIABLES like '%max_allowed_packet%'; 修改此参数的方法是在mysql文件夹找到my.ini文件,在my.ini文件[mysqld]中添…

引起标题上所导致的错误是因为你的第三方库没有放入到Compile Sources里面去. 需要到你项目的Targets>>Build Phases>>Compile Sources里面手动添加需要你的第三方库的.m文件 转自:http://www.cnblogs.com/davidxie/archive/2012/08/22/2651728.html…