Atitit 爬虫 node版 attilaxA

Atitit 爬虫 node版 attilax

1.1. 貌似不跟python压实，，java的webmagic压实，，什么爬虫框架也没有，只好自己写了。

查了百度三爷资料也没有。都是自己写。。

1.2. 爬虫算法调用http模块获取内容。

算去时间戳作为文件名tag部分。。

调用Io模块，保存为文件

1.3. C:\0workspace\atiplat_spider\com.attilax\spider\orgSpd.js

/**
* Created by Administrator on 2017/1/14.
*/
var sys = require("util");
var fs = require('fs');
sys.log("Hello world");

var https = require('http');

function getUrls()
{
    var urls=new Array();
    for(var i=1;i<100;i++)
    {
        var reqdata_str="orgName=&corporateType=1&managerDeptCode=®istrationNo=&unifiedCode=&order=registrationDate&legalName=&page_flag=true&pagesize_key=result&goto_page=next¤t_page=@page@&total_count=1938&to_page=";
        reqdata_str=reqdata_str.replace("@page@",i);
        urls.push(reqdata_str );
    }
    return urls;
}

//main
var urls=getUrls();
var cnt=0;
for(idx in urls)
{
    var url=urls[idx];
    console.log("url:"+url);
    cnt++;
    req(url,cnt);
}
function req(reqdata_str,page)
{

var reqData={
    order:'registrationDate',
    corporateType:'1',
    current_page:'4',
    page_flag:true,
    pagesize_key:'result',
    goto_page:'next',
    total_count:1938,
    orgName:'',
    managerDeptCode:'',
    registrationNo:'',
        unifiedCode:'',
    legalName:'',
    to_page:''
    };
var data_str= JSON.stringify (reqData);
sys.log("--reqData.length:"+data_str.length);
//var reqdata_str="orgName=&corporateType=1&managerDeptCode=®istrationNo=&unifiedCode=&order=registrationDate&legalName=&page_flag=true&pagesize_key=result&goto_page=next¤t_page=3&total_count=1938&to_page=";

var post_options = {
    host: 'www.chinanpo.gov.cn',
    port: '80',
    path: '/search/searchOrgList.do?action=searchOrgList',
    method: 'POST',
    headers: {
        'Content-Type': 'application/x-www-form-urlencoded',
         'Content-Length':reqdata_str.length,
        'Origin':'http://www.chinanpo.gov.cn',
        'Referer':'http://www.chinanpo.gov.cn/search/searchOrgList.do?action=searchOrgList',
       'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36',
        'Upgrade-Insecure-Requests':1
    //    'Cookie':'chinanpojsessionid=C5B432F4A8100CFA5803EA018A8B4AEC; _gscu_815174165=84382222mstxh112; _gscs_815174165=t84402470rmeenn15|pv:2; _gscbrs_815174165=1; Hm_lvt_3adce665674fbfb5552846b40f1c3cbc=1484382201; Hm_lpvt_3adce665674fbfb5552846b40f1c3cbc=1484403650'
    }
}; //poost opt end

var post_req_ClientRequest=https.request(post_options, function(res) {
    console.log("statusCode: ", res.statusCode);
//   console.log("headers: ", res.headers);
    var html = '';
    res.on('data', function(d) {
      // process.stdout.write(d);
        html += d;

});

res.on('end', function(data) {
save(html,page);
})

}).on('error', function(e) {
console.error(e);
});

// post the data
post_req_ClientRequest.write(reqdata_str);
//https.write(reqData);
post_req_ClientRequest.end();

}
function getTimestamp()
{
var timestamp = (new Date()).valueOf();
return timestamp;
}

function save(html,page)
{
    console.log('start save!')
    // ��ץȡ��ݱ��浽��ļ��
    fs.writeFile('c:\\00orgSave\\index_P'+page+"_"+getTimestamp()+'.html', html, function(err) {
        if (err) {
            console.log('��ִ��!')
        }
        console.log('��index.html��')
    })

}

作者:: 绰号:老哇的爪子claw of Eagle 偶像破坏者Iconoclast image-smasher

捕鸟王"Bird Catcher 王中之王King of Kings 虔诚者Pious 宗教信仰捍卫者 Defender Of the Faith. 卡拉卡拉红斗篷 Caracalla red cloak

简称：： Emir Attilax Akbar 埃米尔阿提拉克斯阿克巴

全名：：Emir Attilax Akbar bin Mahmud bin attila bin Solomon bin adam Al Rapanui 埃米尔阿提拉克斯阿克巴本马哈茂德本阿提拉本所罗门本亚当阿尔拉帕努伊

常用名：艾提拉（艾龙）， EMAIL:1466519819@qq.com

头衔：uke总部o2o负责人，全球网格化项目创始人，

uke宗教与文化融合事务部部长， uke宗教改革委员会副主席

，Uke部落首席大酋长，

uke制度与重大会议委员会委员长，uke保安部首席大队长,uke制度检查委员会副会长，

uke 首席cto 奶牛科技首席cto ，软件部门总监技术部副总监研发部门总监主管产品部副经理项目部副经理

uke波利尼西亚区大区连锁负责人汤加王国区域负责人。

uke克尔格伦群岛区连锁负责人，莱恩群岛区连锁负责人，

uke布维岛和南乔治亚和南桑威奇群岛大区连锁负责人

Uke软件标准化协会理事长理事长 uke终身教育学校副校长

Uke 数据库与存储标准化协会副会长 uke出版社编辑总编

Uke医院与医学院方面的创始人

Uke 户外运动协会理事长 uke交友协会会长

转载请注明来源：attilax的专栏 ?http://www.cnblogs.com/attilax/

--Atiend