cfda数据抓取 1.网站数据是加密的,需要浏览器进行数据解析 2.网址url有js加密 3.PhantomJS无法解析数据, chrome无法获取数据,所有最终选择用Firefox浏览器 import pymysql import time import uuid from lxml import etree import logging from selenium import webdriver import threading import queue import re logging…

直接上代码 1,js(2个文件,网上找的)  不要觉的长,直接复制下来就OK //UnicodeAnsi.js文件 //把Unicode转成Ansi和把Ansi转换成Unicode function UnicodeChr() { return '00A4,00A7,00A8,00B0,00B1,00B7,00D7,00E0,00E1,00E8,00E9,00EA,00EC,00ED,00F2,00F3,00F7,00F9,00FA,00FC,0101,0113,011B,012B,014D,01…

实验平台:Win7,VS2010 先上结果截图:    本文是我前一篇博客:OpenGL阴影,Shadow Mapping(附源程序)的下篇,描述两个最常用的阴影技术中的第二个,Shadow Volumes 方法.将从基本原理出发,首先讲解 Zpass 方法,然后是 Zfail 方法(比较实际的方法),最后对 Shadow Mapping 和 Shadow Volumes 方法做简要分析对比. Shadow Volumes 需要网格的连接信息,本文使用 VCGlib 库 构造拓扑信息及读写网格文…

C++ 引入了ostringstream.istringstream.stringstream这三个类,这三个类包含在sstream.h头文件中.三个类中 1)istringstream类用于执行C++风格的串流的输入操作: 2)ostringstream类用于执行C风格的串流的输出操作: 3)strstream类同时可以支持两种风格的串流的输入输出操作. 一.stringstream stringstream的一个重要的作用是用来做数据的转换的,相比其他实现方法,它更加安全.简便. 1)数值转…

今天D哥给我提了个问题,"用php执行过js没"?咋一听,没戏~~毕竟常规情况下,js是依赖浏览器运行的.想在php后端采集的同时利用js运行结果并传递给php使用,没戏! 然后回头一想,要是换成nodejs呢?利用nodejs作为解析js的服务器,然后php请求nodejs运行结果,岂不是能够变相实现php调取js执行的结果? 说干就干,nodejs只是初步涉猎,要想实现想法,需要: 利用nodejs搭建一个http服务 nodejs能够接收传入参数 nodejs能够正确运行相应前端…

aaarticlea/png;base64,iVBORw0KGgoAAAANSUhEUgAABNUAAANeCAYAAAA1BjiHAAAgAElEQVR4nOydabWsuhaFywIasIAHJK…

2.1.NET Framework部署目标 Microsoft Windows多年来因不稳定和复杂而口碑不佳.造成的原因:1.应用程序都使用来自微软和厂商的动态链接库(dynamic-link library,DLL),可能互相会干扰破坏.2.安装的复杂性:应用程序安装需要将文件复制到目录.更新注册表.创建快捷方式.不能轻松将应用程序转移到另一天电脑,也无法保证卸载干净.3.安全性:程序可能后台操作一些用户不希望发生的动作,比如下载,执行危险操作等. 附注:.NET Framew正尝试解决DLL…

Michael Kors - Wikipedia, the free encyclopedia Michael Kors From Wikipedia, the free encyclopedia   Jump to: navigation, search Michael Kors Michael Kors Photo: Ed Kavishe, Fashion Wire Press Born Karl Anderson, Jr. (1959-08-09) August 9, 1959 (age …

// JavaScript Document var PY_Json_Str = ""; var PY_Str_1 = ""; var PY_Str_2 = "";  var PY_Str_3 = "";  var PY_Str_4 = ""; var PY_Str_5 = ""; var PY_Str_6 = "";  var PY_Str_7 = "&q…

redis分布式部署 scrapy框架是否可以自己实现分布式? 不可以原因有两点 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url.(多台机器无法共享同一个调度器) 其二:多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储.(多台机器无法共享同一个管道) 基于scrapy-redis组件的分布式爬虫 scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道,我们可以直接使用并实现分布式…

使用踩坑: 一.弹出框上datagrid第二次加载数据,必须在显示状态,datagrid加载数据才会渲染,否则是空白 $('#xq_selKs').window('open').window('center'); //必须先显示窗口再加载数据 $('#xq_gridDXKS').datagrid({ data:xqAllKsData }); 二.textbox绑定事件,放在函数中触发会报错 property textbox undefined 放在$(function(){ })中就正常 $(f…

这几天的任务量比较大,还有一个挺棘手的网站cfda,不巧的是数据量还挺大,40W关于企业信息.上来就是debugger pause,调试中断,开始还是挺懵逼的,但这个还算简单毕竟google,百度,就能解决.经过初步的分析,有一个难点,关于跨网页,一个字串,以及cookies是一个网页一变,要解决这个问题,其实就是去读懂js,node 或者自己python实现,虽然是可以实现,但肯定是需要花一些时间的,那不如直接selenium上手搞起来,毕竟能解决问题的方法就是好方法. 其实,cfda还是挖了…

今天爬取cfda时遇到的困难,一旦开启了调试,就debugger pause, ???还有这种操作 一顿google,百度,解决了这个问题,点一下Deactivate breakPoints,然后点一下快进按钮即可,或者ctrl+F5强制刷新.…

MIP,全称Mobile Instant Pages(移动端即时页面),是百度推出的一套移动端网页开放技术标准.网站移动端页面统计MIP改造,能实现页面缓存,从而达到移动网页加速效果. 百度官方已经明确表示,应用了MIP的移动网站,将在百度搜索引擎获得更高权重. 在杭州沙龙的现场盛况中,Zac大神对百度工程师提出了非常尖锐的问题,“百度MIP到底会不会影响排名”,现场沉寂几秒中后响起了雷鸣般的掌声,对此,百度工程师也明确的表示:“百度MIP会影响排名”.我想这一点是所有SEO从业者最想要听到的吧…

一:简介: Uploadify是JQuery的一个上传插件,实现的效果非常好,带进度显示 ,且Ajax异步,能一次性上传多个文件,功能强大,使用简单 1.支持单文件或多文件上传,可控制并发上传的文件数 2.在服务器端支持各种语言与之配合使用,诸如PHP,.NET,Java…… 3.通过参数可配置上传文件类型及大小限制 4.通过参数可配置是否选择文件后自动上传 5.易于扩展,可控制每一步骤的回调函数(onSelect, onCancel……) 6.通过接口参数和CSS控制外观   二:官方下载 h…

一,scrapy请求 yield scrapy.Request(url=url, dont_filter=True, callback=self.page, meta={'item': item}) yield scrapy.FormRequest(url=self.url, headers=self.unicornHeader, method='POST', formdata=self.FormData, meta=self.customerData, callback=self.after_…

中文通过Java后台进行Base64编码后传到前台,通过JS进行Base64解码时会出现中文乱码的问题,被这个问题也是困扰了几天,使用jquery.base64.js只能转码非中文字符,经过搜集各种方案,最终找到适合自己的解决方案. Java后台编码,这里用的是org.apache.commons.codec.binary.Base64: private String base64Encode(String str) throws Exception { if (str != null) { S…

导读: ALK融合是非小细胞肺癌的关键驱动机制之一,在NSCLC患者中发生的频率约为3-7%.针对ALK融合的抑制剂克唑替尼.色瑞替尼以及Alectinib在治疗ALK融合阳性的NSCLC患者中都取得了巨大成功,而ALK融合检测是靶向ALK治疗的前提. 1．传统ALK检测技术的特点及不足之处 目前对ALK融合的检出方法包括传统的荧光原位杂交(FISH),基于PCR扩增技术(RACE-PCR或RT-PCR联合测序技术.qRT-PCR等)和免疫组织化学法(IHC),这些传统方法各有其优缺点(表1).…

html: <table cellpadding="0" cellspacing="0" class="data_table" id="data_table"> <tr> <th>日期</th> <th>星期</th> <th>渠道</th> <th>服务区</th> <th>总用户</th…

项目名称:首都医科大学附属北京安贞医院全院级PACS系统采购项目 项目编号:TC140VCF0 采购人名称:首都医科大学附属北京安贞医院 采购人地址:北京市朝阳区安贞里 采购人联系方式:010-64412431 采购代理机构全称:中招国际招标有限公司 采购代理机构地址:北京市海淀区皂君庙14号院9号楼 采购代理机构联系方式:010-62108274 采购用途:自用 首次公告日期:2014年11月5日 变更日期:2014年11月17日 变更内容:技术参数等变更 一.删除原资格条件:(2)具有<计算…

Illumina的SNP芯片原理 Illumina的SNP生物芯片的优势在于: 第1,它的检测通量很大,一次可以检测几十万到几百万个SNP位点 第2,它的检测准确性很高,它的准确性可以达到99.9%以上 第3,它的检测的费用相对低廉,大约一个90万位点的芯片(每个样本的)检测费用在一.两千人民币 Illumina的生物芯片系统,主要是由:芯片.扫描仪.和分析软件组成. Illumina的生物芯片,由2部分组成:第1是玻璃基片,第2是微珠. 这个玻璃基片,它的大小和一张普通的载玻片差不多大小,它起…

javascript中的Base64.UTF8编码与解码详解 本文给大家介绍的是javascript中的Base64.UTF8编码与解码的函数源码分享以及使用范例,十分实用,推荐给小伙伴们,希望大家能够喜欢. Base64编码说明 Base64编码要求把3个8位字节(3*8=24)转化为4个6位的字节(4*6=24),之后在6位的前面补两个0,形成8位一个字节的形式. 如果剩下的字符不足3个字节,则用0填充,输出字符使用'=',因此编码后输出的文本末尾可能会出现1或2个'='. base64编码…

(function($) { $.base64 = function(options) { var defaults = { data:"", type:0, unicode:true }; var opts = $.extend(defaults,options); var keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="; UnicodeChr = funct…

0ListView基本属性 1介绍 Listview节约内存的几种写法 2技巧一:解决ListView的ItemView中带有Button时,OnItemClick无效的问题  3技巧二Listview滚动栏的属性 4技巧三有关美化 android ListView的美化涉及到的一些属性 5精品代码:android开发之横向滚动/竖向滚动的ListView(固定列头) 6代码2   android ListView和GridView拖拽移位实现代码 前言 基本属性在xml文件里 ListView…

http://www.mytju.com/classcode/tools/encode_utf8.asp 对应关系查询网站 Uni. GB Uni. GB Uni. GB Uni. GB Uni. GB 00A4 A1E8 ¤ 00A7 A1EC § 00A8 A1A7 ¨ 00B0 A1E3 ° 00B1 A1C0 ± 00B7 A1A4 · 00D7 A1C1 × 00E0 A8A4 à 00E1 A8A2 á 00E8 A8A8 è 00E9 A8A6 é 00EA A8BA ê 00EC…

安装 编译好的windows可用版本的下载地址(官网中可以连接到这个网站,和官方网站保持同步): http://ffmpeg.zeranoe.com/builds/ 该版本为FFMPEG的Static,Static里面只有3个应用程序:ffmpeg.exe,ffplay.exe,ffprobe.exe,每个exe的体积都很大,相关的Dll已经被编译到exe里面去了. 使用 ffmpeg.exe ffmpeg是用于转码的应用程序 命令行进入bin目录,输入以下命令即可将m3u8下载为指定格式的文件…

aiohttp_spider_def: import asyncio import re import aiohttp import aiomysql from pyquery import PyQuery from lxml import etree start_url = 'http://news.baidu.com/' waitting_urs = [] seen_uels = set() stoppint = False sem = asyncio.Semaphore(10) # 现在并…

当autocommit为开启状态时,即使没有手动start transaction开启事务,mysql默认也会将用户的操作当做事务即时提交(自动帮我们 db.commit()) autocommit开启时,mysql的插入效率会提高 1.autocmmit=False import pymysql import time def mysql_autpcommit(): strat_time = time.time() db = pymysql.connect(host='localhost',…

aiomysql: import aiomysql import asyncio async def aiomysql_test(): loop = asyncio.get_event_loop() # 第一种连接方法 pool = await aiomysql.create_pool(host='127.0.0.1', port=3306, user='root', password='root', db='cfda', loop=loop, charset='utf8', autocommi…

近些年来我们经历了太多制造数据造假事件,特别是前段时间曝出的医药制造事件更是将我们群众的愤怒值推到了最高点.不过我们最应当做的是,冷静下来,思考一下各行各业的我们是不是都该做些什么了?毕竟当下一个灾难来临的时候,或许大家都已不是局外人了. 企业编造生产记录和产品检验记录,并随意变更工艺参数和设备,这种人工有意为之的性质是糟糕的,所以CFDA(国家食品药品监督管理局)的检查起到了非常关键的作用.但是其实MES数字化制造管理平台也可以很好的去解决数据造假的问题.通过数字化制造平台建设,促进企业生产制…