C#运用实例.读取csv里面的词条，对每一个词条抓取百度百科相关资料，然后存取到数据库

第一步：首先需要将csv先装换成datatable，这样我们就容易进行对datatable进行遍历：

  /// 将CSV文件的数据读取到DataTable中

    /// CSV文件路径

    /// 返回读取了CSV数据的DataTable

    public DataTable OpenCSV(string fileName)

    {

        DataTable dt = new DataTable();

        FileStream fs = new FileStream(fileName, System.IO.FileMode.Open, System.IO.FileAccess.Read);

        StreamReader sr = new StreamReader(fs, System.Text.Encoding.Default);

        //记录每次读取的一行记录

        string strLine = "";

        //记录每行记录中的各字段内容

        string[] aryLine;

        //标示列数

        int columnCount = ;

        //标示是否是读取的第一行

        bool IsFirst = true;

        //逐行读取CSV中的数据

        while ((strLine = sr.ReadLine()) != null)

        {

            aryLine = strLine.Split(',');

            if (IsFirst == true)

            {

                IsFirst = false;

                columnCount = aryLine.Length;

                //创建列

                for (int i = ; i < columnCount; i++)

                {

                    DataColumn dc = new DataColumn(aryLine[i]);

                    dt.Columns.Add(dc);

                }

            }

            else

            {

                DataRow dr = dt.NewRow();

                for (int j = ; j < columnCount; j++)

                {

                    dr[j] = aryLine[j];

                }

                dt.Rows.Add(dr);

            }

        }

        sr.Close();

        fs.Close();

        return dt;

    }

将csv文件转换成datatable

特别备注：遍历dadatable的几种方式已经将datatable装换成csv文件：

一、将DataTable内容写入到CSV文件

        ///

        /// 将DataTable中的数据保存成CSV文件

        ///

        private void btnSaveCSV_Click(object sender, EventArgs e)

        {

            saveFileDialog1.Filter = "CSV文件|*.CSV";

            saveFileDialog1.InitialDirectory = "C:\\";

            if (saveFileDialog1.ShowDialog() == DialogResult.Cancel)

            {

                return;

            }

            else

            {

                string fileName = saveFileDialog1.FileName;

                SaveCSV(ds.Tables[], fileName);

            }

        }

        ///

        /// 将DataTable中数据写入到CSV文件中

        ///

        /// 提供保存数据的DataTable

        /// CSV的文件路径

        public void SaveCSV(DataTable dt, string fileName)

        {

            FileStream fs = new FileStream(fileName, System.IO.FileMode.Create, System.IO.FileAccess.Write);

            StreamWriter sw = new StreamWriter(fs, System.Text.Encoding.Default);

            string data = "";

            //写出列名称

            for (int i = ; i < dt.Columns.Count; i++)

            {

                data += dt.Columns[i].ColumnName.ToString();

                if (i < dt.Columns.Count - )

                {

                    data += ",";

                }

            }

            sw.WriteLine(data);

            //写出各行数据

            for (int i = ; i < dt.Rows.Count; i++)

            {

                data = "";

                for (int j = ; j < dt.Columns.Count; j++)

                {

                    data += dt.Rows[i][j].ToString();

                    if (j < dt.Columns.Count - )

                    {

                        data += ",";

                    }

                }

                sw.WriteLine(data);

            }

            sw.Close();

            fs.Close();

            MessageBox.Show("CSV文件保存成功！");

        }

将datatable转换成csv

遍历datatable的方法2009-- :02方法一：

DataTable dt = dataSet.Tables[];

for(int i =  ; i < dt.Rows.Count ; i++)

{

   string strName = dt.Rows[i]["字段名"].ToString();

}   

方法二：

foreach(DataRow myRow in myDataSet.Tables["temp"].Rows)

{

      var str = myRow[].ToString();

}   

方法三：

foeach(DataRow dr in dt.Rows)

{

     object value = dr["ColumnsName"];

}   

方法四：

DataTable dt=new DataTable();

foreach(DataRow dr in dt.Rows)

{

   for(int i=;i<dt.Columns.Count;i++)

   {

dr[i];

   }

}   

方法五

DataRow[] dataRows = null;

dataRows = dataTable.Select(fieldParentID + "='" + treeNode.Tag.ToString() + "'", dataTable.DefaultView.Sort);

foreach (DataRow dataRow in dataRows)

{ 

     DataRow dataRow = dataTable.Rows[i]; 

     ?? = dataRow[fieldParentID].ToString();

}

遍历datatable的几种方式

第二步呢：就是必须用到post方式提交啦，

    /// <summary>

    /// post数据请求，返回html代码

    /// </summary>

    /// <param name="areaName">输入百科词条</param>

    /// <returns></returns>

    public string UrlPost(string areaName)

    {

        Encoding encoding = Encoding.GetEncoding("UTF-8");

        Stream outstream = null;

        Stream instream = null;

        StreamReader sr = null;

        string url = "http://baike.baidu.com/search/word?word=" + areaName;

        HttpWebRequest request = null;

        HttpWebResponse response = null;

        // 准备请求,设置参数

        request = WebRequest.Create(url) as HttpWebRequest;

        request.Method = "POST";

        //request.ContentType = "application/x-www-form-urlencoded";

        request.ContentType = "text/xml";//注意了，上面的那种方式不可采用，因为当遇到xml格式的就会报远程服务器错误。500

        byte[] data = encoding.GetBytes(url);

        request.ContentLength = data.Length;

        outstream = request.GetRequestStream();

        outstream.Write(data, 0, data.Length);

        outstream.Flush();

        outstream.Close();

        //发送请求并获取相应回应数据

        response = request.GetResponse() as HttpWebResponse;

        //直到request.GetResponse()程序才开始向目标网页发送Post请求

        instream = response.GetResponseStream();

        sr = new StreamReader(instream, encoding);

        //返回结果网页(html)代码

        string content = sr.ReadToEnd();

        return content;

    }

post方式请求数据返回html数据

第三部，就是遍历datatable，然后遍历出每个关键字，以post方式提交到百度百科，返回html，然后用正则表达式进行对数据的筛选

    /// <summary>

    /// 点击按钮执行程序

    /// </summary>

    /// <param name="sender"></param>

    /// <param name="e"></param>

    protected void btn_click_Click(object sender, EventArgs e)

    {

        DataTable dts = OpenCSV("C:\\Users\\kingtopinfo\\Desktop\\CITYLOCATION.csv");

        foreach (DataRow dr in dts.Rows)

        {

            string sql = "";

            string regstr = "";

            string regspit = "";

            string Title, Content = "";

            int Id = Convert.ToInt32(dr["ID"].ToString());

            int CityId = Convert.ToInt32(dr["CITYID"].ToString());

            decimal Latitude = Convert.ToDecimal(dr["LATITUDE"]);

            decimal Longitude = Convert.ToDecimal(dr["LONGITUDE"]);

            //提交数据给页面并返回html

            string value = dr["CITYNAME"].ToString();

            string html = UrlPost(value);

            //对数据进行处理。

            Regex reg = new Regex(@"<div class=""biItemInner"">(\s|\S)+?(<\/div>\s*?)");

            MatchCollection mc = reg.Matches(html);

            foreach (Match m in mc)

            {

                regspit += Regex.Replace(Regex.Replace(m.Value, @"</div[^>]*>", ":"), @"</span[^>]*>", ",");

            }

            regstr = Regex.Replace(regspit, @"</?div[^>]*>|</?span[^>]*>|</?a[^>]*>|&nbsp;", "");

            string[] area = Regex.Split(regstr, ":", RegexOptions.IgnoreCase);

            foreach (string i in area)

            {

                string[] areaspit = i.Split(',');

                if (areaspit.Length==)

                {

                    Title = areaspit[];

                    Content = areaspit[];

                    SqlParameter[] paras = {

                                           new SqlParameter("@Id", Id),

                                           new SqlParameter("@cityId", CityId),

                                           new SqlParameter("@latitude", Latitude),

                                           new SqlParameter("@longitude", Longitude),

                                           new SqlParameter("@cityName", value),

                                           new SqlParameter("@title", Title),

                                           new SqlParameter("@content", Content ),

                                           };

                    sql = "INSERT INTO chinaarea(ID,CITYID,LATITUDE,LONGITUDE,CITYNAME,TITLE,CONTENT) VALUES (@Id,@cityId,@latitude,@longitude,@cityName,@title,@content)";

                    SaveSql(sql,paras);

                }

            }

        }

    }

遍历表格，发送请求，正则筛选，存入数据库

第四部分，就是数据库的操作了

const string connString = @"Data Source =.;Database = Area;Integrated Security=True";

  /// <summary>

    /// 存入数据库

    /// </summary>

    /// <param name="str"></param>

    public void SaveSql(string str,SqlParameter[] para)

    {

        SqlConnection conn = new SqlConnection(connString);

        conn.Open();

        string mysql = str;

        SqlCommand cmd = new SqlCommand(mysql, conn);

        cmd.Parameters.AddRange(para);

        cmd.ExecuteNonQuery();

        conn.Close();

    }

数据库操作

　此外，这里对正则表达式进行解释

　因为返回的都是这种类型的数据，而我们需要得到的是里面的内容，所以采取正则匹配和替换

<div class="biItem"><div class="biItemInner"><span class="biTitle">外文名称</span><div class="biContent">Beijing</div></div></div>

Regex reg = new Regex(@"<div class=""biItemInner"">(\s|\S)+?(<\/div>\s*?)"); 找出<div class="biItemInner"><div>里的内容

Regex.Replace(Regex.Replace(m.Value, @"</div[^>]*>", ":"), @"</span[^>]*>", ","); 对div和span进行替换和以：分组（便于之后数据处理）

Regex.Replace(regspit, @"</?div[^>]*>|</?span[^>]*>|</?a[^>]*>| ", ""); 将regspit里面&nbsp 还有a标签进行替换（也就是去掉里面的这些标签）

最终的代码整合：

using System;

using System.Collections.Generic;

using System.Linq;

using System.Web;

using System.Web.UI;

using System.Web.UI.WebControls;

using System.Data;

using System.Data.SqlClient;

using System.Text;

using System.IO;

using System.Net;

using System.Text.RegularExpressions;

public partial class csv : System.Web.UI.Page

{

    const string connString = @"Data Source =.;Database = Area;Integrated Security=True";

    protected void Page_Load(object sender, EventArgs e)

    {

    }

    /// <summary>

    /// 点击按钮执行程序

    /// </summary>

    /// <param name="sender"></param>

    /// <param name="e"></param>

    protected void btn_click_Click(object sender, EventArgs e)

    {

        DataTable dts = OpenCSV("C:\\Users\\kingtopinfo\\Desktop\\CITYLOCATION.csv");

        foreach (DataRow dr in dts.Rows)

        {

            string sql = "";

            string regstr = "";

            string regspit = "";

            string Title, Content = "";

            int Id = Convert.ToInt32(dr["ID"].ToString());

            int CityId = Convert.ToInt32(dr["CITYID"].ToString());

            decimal Latitude = Convert.ToDecimal(dr["LATITUDE"]);

            decimal Longitude = Convert.ToDecimal(dr["LONGITUDE"]);

            //提交数据给页面并返回html

            string value = dr["CITYNAME"].ToString();

            string html = UrlPost(value);

            //对数据进行处理。

            Regex reg = new Regex(@"<div class=""biItemInner"">(\s|\S)+?(<\/div>\s*?)");

            MatchCollection mc = reg.Matches(html);

            foreach (Match m in mc)

            {

                regspit += Regex.Replace(Regex.Replace(m.Value, @"</div[^>]*>", ":"), @"</span[^>]*>", ",");

            }

            regstr = Regex.Replace(regspit, @"</?div[^>]*>|</?span[^>]*>|</?a[^>]*>|&nbsp;", "");

            string[] area = Regex.Split(regstr, ":", RegexOptions.IgnoreCase);

            foreach (string i in area)

            {

                string[] areaspit = i.Split(',');

                if (areaspit.Length==2)

                {

                    Title = areaspit[0];

                    Content = areaspit[1];

                    SqlParameter[] paras = {

                                           new SqlParameter("@Id", Id),

                                           new SqlParameter("@cityId", CityId),

                                           new SqlParameter("@latitude", Latitude),

                                           new SqlParameter("@longitude", Longitude),

                                           new SqlParameter("@cityName", value),

                                           new SqlParameter("@title", Title),

                                           new SqlParameter("@content", Content ),

                                           };

                    sql = "INSERT INTO chinaarea(ID,CITYID,LATITUDE,LONGITUDE,CITYNAME,TITLE,CONTENT) VALUES (@Id,@cityId,@latitude,@longitude,@cityName,@title,@content)";

                    SaveSql(sql,paras);

                }

            }

        }

    }

    /// 将CSV文件的数据读取到DataTable中

    /// CSV文件路径

    /// 返回读取了CSV数据的DataTable

    public DataTable OpenCSV(string fileName)

    {

        DataTable dt = new DataTable();

        FileStream fs = new FileStream(fileName, System.IO.FileMode.Open, System.IO.FileAccess.Read);

        StreamReader sr = new StreamReader(fs, System.Text.Encoding.Default);

        //记录每次读取的一行记录

        string strLine = "";

        //记录每行记录中的各字段内容

        string[] aryLine;

        //标示列数

        int columnCount = 0;

        //标示是否是读取的第一行

        bool IsFirst = true;

        //逐行读取CSV中的数据

        while ((strLine = sr.ReadLine()) != null)

        {

            aryLine = strLine.Split(',');

            if (IsFirst == true)

            {

                IsFirst = false;

                columnCount = aryLine.Length;

                //创建列

                for (int i = 0; i < columnCount; i++)

                {

                    DataColumn dc = new DataColumn(aryLine[i]);

                    dt.Columns.Add(dc);

                }

            }

            else

            {

                DataRow dr = dt.NewRow();

                for (int j = 0; j < columnCount; j++)

                {

                    dr[j] = aryLine[j];

                }

                dt.Rows.Add(dr);

            }

        }

        sr.Close();

        fs.Close();

        return dt;

    }

    /// <summary>

    /// 存入数据库

    /// </summary>

    /// <param name="str"></param>

    public void SaveSql(string str,SqlParameter[] para)

    {

        SqlConnection conn = new SqlConnection(connString);

        conn.Open();

        string mysql = str;

        SqlCommand cmd = new SqlCommand(mysql, conn);

        cmd.Parameters.AddRange(para);

        cmd.ExecuteNonQuery();

        conn.Close();

    }

    /// <summary>

    /// post数据请求，返回html代码

    /// </summary>

    /// <param name="areaName">输入百科词条</param>

    /// <returns></returns>

    public string UrlPost(string areaName)

    {

        Encoding encoding = Encoding.GetEncoding("UTF-8");

        Stream outstream = null;

        Stream instream = null;

        StreamReader sr = null;

        string url = "http://baike.baidu.com/search/word?word=" + areaName;

        HttpWebRequest request = null;

        HttpWebResponse response = null;

        // 准备请求,设置参数

        request = WebRequest.Create(url) as HttpWebRequest;

        request.Method = "POST";

        //request.ContentType = "application/x-www-form-urlencoded";

        request.ContentType = "text/xml";//注意了，上面的那种方式不可采用，因为当遇到xml格式的就会报远程服务器错误。500

        byte[] data = encoding.GetBytes(url);

        request.ContentLength = data.Length;

        outstream = request.GetRequestStream();

        outstream.Write(data, 0, data.Length);

        outstream.Flush();

        outstream.Close();

        //发送请求并获取相应回应数据

        response = request.GetResponse() as HttpWebResponse;

        //直到request.GetResponse()程序才开始向目标网页发送Post请求

        instream = response.GetResponseStream();

        sr = new StreamReader(instream, encoding);

        //返回结果网页(html)代码

        string content = sr.ReadToEnd();

        return content;

    }

}

C#运用实例.读取csv里面的词条，对每一个词条抓取百度百科相关资料，然后存取到数据库的更多相关文章

selenium-java web自动化测试工具抓取百度搜索结果实例
selenium-java web自动化测试工具抓取百度搜索结果实例这种方式抓百度的搜索关键字结果非常容易抓长尾关键词,根据热门关键词去抓更多内容可以用抓google,百度的这种内容容易给屏蔽,用这 ...
python简单爬虫用beautifulsoup爬取百度百科词条
目标:爬取“湖南大学”百科词条并处理数据需要获取的数据: 源代码: <div class="basic-info cmn-clearfix"> <dl clas ...
python简单爬虫爬取百度百科python词条网页
目标分析:目标:百度百科python词条相关词条网页 - 标题和简介入口页:https://baike.baidu.com/item/Python/407313 URL格式: - 词条页面URL:/ ...
java 如何爬取百度百科词条内容(java如何使用webmagic爬取百度词条)
这是老师所布置的作业说一下我这里的爬去并非能把百度词条上的内容一字不漏的取下来(而是它分享链接的一个主要内容概括...)(他的主要内容我爬不到也不想去研究大家有好办法可以call me) 例如互 ...
R语言爬虫：爬取百度百科词条
抓取目标:抓取花儿与少年的百度百科中成员信息 url <- "http://baike.baidu.com/item/%E8%8A%B1%E5%84%BF%E4%B8%8E%E5%B0 ...
慕课爬虫实战爬取百度百科Python词条相关1000个页面数据
http://www.imooc.com/learn/563 spider_main.py #!/usr/bin/python # coding=utf-8 #from baike_spider im ...
Python 爬虫实例(爬百度百科词条)
爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成.爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入 ...
python3.4学习笔记(十三) 网络爬虫实例代码，使用pyspider抓取多牛投资吧里面的文章信息，抓取政府网新闻内容
python3.4学习笔记(十三) 网络爬虫实例代码,使用pyspider抓取多牛投资吧里面的文章信息PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI,采用Python语言编写 ...
python_爬百度百科词条
如何爬取? 明确目标:爬取百度百科,定初始百度词条:python,初始URL:http://baike.baidu.com/item/Python,爬取数据量为1000条,值爬取简介,标题,和简介中u ...

随机推荐

APPCAN学习笔记004---AppCan与Hybrid,appcan概述
APPCAN学习笔记004---AppCan与Hybrid,appcan概述技术qq交流群:JavaDream:251572072 本节讲了appcan的开发流程,和开发工具笔记不做具体介绍了,以 ...
cocos2d-x(quick-lua)读取csv文件
一.准备一份csv文件 ID,Name,Des,Model ID,名字,描写叙述,图片模型 1,广告,www.benmutou.com,csv.png 2,否认,呵呵,广告什么的,我才不会加,good ...
C#基础学习心得（二）
索引器 class Program { static void Main(string[] args) { Employee e1 = new Employee(); e1[0] = "三& ...
ASP.NET 开发框架汇总
先简单记录一下,以后慢慢添加 1.ASP.NET Aries 2.ASP.NET DevExpress
java使用注解和反射打造一个简单的jdbc工具类
a simple jdbc tools 如有转载和引用,请注明出处,谢谢 1. 定义我们需要的注解要想实现对数据库的操作,我们必须知道数据表名以及表中的字段名称以及类型,正如hibernate 使用 ...
Java-----隐藏手机号中间四位
phone.replaceAll("(\\d{3})\\d{4}(\\d{4})","$1****$2");152****4799 idCard.replace ...
bootstrap 之列表组件使用
列表是几乎所有网站都会用到的一个组件,正好bootstrap也给我们提供了这个组件的样式,下面我给大家简单介绍一下bootstrap中的列表组件的用法! 首先,重提一下引用bootstrap的核心文件 ...
DDD的"waiting until GDB gets ready"
运行DDD调试器时,出现卡死现象,看软件状态,发现"waiting until GDB gets ready",Google了这个问题,很多都是删除文件夹"~/.ddd& ...
寒冰王座（hd1248）
寒冰王座 Problem Description 不死族的巫妖王发工资拉,死亡骑士拿到一张N元的钞票(记住,只有一张钞票),为了防止自己在战斗中频繁的死掉,他决定给自己买一些道具,于是他来到了地精商店 ...
UVA 1839 Alignment
还是最长上升子序列... 本题是求队列中任一士兵都能从左边或者右边看到队伍外: 即某一士兵左边为上升子序列,右边为下降子序列.求两个序列和,再用总数减去: #include <iostream& ...

C#运用实例.读取csv里面的词条，对每一个词条抓取百度百科相关资料，然后存取到数据库

C#运用实例.读取csv里面的词条，对每一个词条抓取百度百科相关资料，然后存取到数据库的更多相关文章

随机推荐

热门专题