python之如何爬取一篇小说的第一章内容

现在网上有很多小说网站，但其实，有一些小说网站是没有自己的资源的，那么这些资源是从哪里来的呢？当然是“偷取”别人的数据咯。现在的问题就是，该怎么去爬取别人的资源呢，这里便从简单的开始，爬取一篇小说的第一章内容，代码如下：

import requests
from bs4 import BeautifulSoup

import io
import sys
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}

r=requests.get("https://www.biqukan.com/1_1094/5403177.html?tdsourcetag=s_pcqq_aiomsg")
r.encoding=r.apparent_encoding
result=r.text

bs=BeautifulSoup(result,'html5lib')
h1=bs.find_all('h1')
div=bs.find_all('div',attrs={'class','showtxt'})
li=[]
fo=open("1.text",'a')
for h in h1:
    li.append(h.text)
for d in div:
    li.append(d.text.replace("\xa0",""))
fo.writelines(li)
fo.close()

#这里我们选取的对象是笔趣阁的小说《一念永恒》的第一章内容，想要获取她的资源首先就得对它的源码进行分析

接下来我们看一下我们获取到的资源：

第一章 他叫白小纯app2();帽儿山，位于东林山脉中，山下有一个村子，民风淳朴，以耕田为生，与世隔绝。

清晨，村庄的大门前，整个村子里的乡亲，正为一个十五六岁少年送别，这少年瘦弱，但却白白净净，看起来很是乖巧，衣着尽管是寻常的青衫，可却洗的泛白，穿在这少年的身上，与他目中的纯净搭配在一起，透出一股子灵动。

他叫白小纯。

“父老乡亲们，我要去修仙了，可我舍不得你们啊。”少年满脸不舍，原本就乖巧的样子，此刻看起来更为纯朴。

四周的乡亲，面面相觑，顿时摆出难舍之色。

“小纯，你爹娘走的早，你是个……好孩子！！难道你不想长生了么，成为仙人就可以长生，能活的很久很久，走吧，雏鹰长大，总有飞出去的那一天。”人群内走出一个头发花白的老者，说道好孩子三个字时，他顿了一下。

“在外面遇到任何事情，都要坚持下去，走出村子，就不要回来，因为你的路在前方！”老人神色慈祥，拍了拍少年的肩膀。

“长生……”白小纯身体一震，目中慢慢坚定起来，在老者以及四周乡亲鼓励的目光下，他重重的点了点头，深深的看了一眼四周的乡亲，转身迈着大步，渐渐走出了村子。

眼看少年的身影远去，村中的众人，一个个都激动起来，目中的难舍刹那就被喜悦代替，那之前满脸慈祥的老者，此刻也在颤抖，眼中流下泪水。

“苍天有眼，这白鼠狼，他终于……终于走了，是谁告诉他在附近看到仙人的，你为村子立下了大功！”

“这白鼠狼终于肯离开了，可怜我家的几只鸡，就因为这白鼠狼怕鸡打鸣，不知用了什么方法，唆使一群孩子吃鸡肉，把全村的鸡都给吃的干干净净……”

“今天过年了！”欢呼之声，立刻在这不大的村子里，沸腾而起，甚至有人拿出了锣鼓，高兴的敲打起来。

村子外，白小纯还没等走远，他就听到了身后村子内，传出了敲锣打鼓的声音，还夹着欢呼。

白小纯脚步一顿，神色有些古怪，干咳一声，伴随着耳边传来的锣鼓，白小纯顺着山路，走上了帽儿山。

这帽儿山虽不高，却灌木杂多，虽是清晨，可看起来也是黑压压一片，很是安静。

“听二狗说，他前几天在这里被一头野猪追赶时，看到天上有仙人飞过……”白小纯走在山路上，心脏怦怦跳动时，忽然一旁的灌林中传来阵阵哗哗声，似野猪一样，这声音来的突然，让本就紧张的白小纯，顿时背后发凉。

“谁，谁在那里！”白小纯右手快速从行囊中拿出四把斧头，六把柴刀，还觉得不放心，又从怀里取出了一小根黑色的香，死死的抓住。

“别出来，千万别出来，我有斧头，有柴刀，手里的香还可以召唤天雷，能引仙人降临，你敢出来，就霹死你！”白小纯哆嗦的大喊，连滚带爬的夹着那些武器，赶紧顺着山路跑去，沿途叮当乱响，斧头柴刀掉了一地。

或许是真的被他给吓住了，很快的哗哗声就消失，没有什么野兽跑出来，白小纯面色苍白，擦了擦冷汗，有心放弃继续上山，可一想到手中这根香是他爹娘去世前留给他的，据说是祖上曾偶然的救下一个落魄的仙人，那仙人离去时留下这根香作为报答，曾言会收下白家血脉一人为弟子，只要点燃，仙人就会到来。

可至今为止，这根香他点过十多次，始终不见仙人到来，让白小纯开始怀疑仙人是不是真的会来，这一次之所以下定决心，一方面是香所剩不多，另一方面是他听村子里人说，头几天在这看到有仙人从天上飞过。

所以他这才到来，想着距离仙人近一些，或许仙人就察觉到了也说不定。

踌躇一番，白小纯咬牙继续，好在此山不高，不久他气喘吁吁的到了山顶，站在那里，他遥望山下的村庄，神色颇为感慨，又低头看着手中的只有指甲盖大小的黑香，此香似乎被燃烧了好多次，所剩不多。

“三年了，爹娘保佑我，这次一定要成功！”白小纯深吸口气，小心的将香点燃，立刻四周狂风顿起，天空更是眨眼间乌云密布，一道道闪电划过，还有震耳欲聋的雷鸣在白小纯耳边直接炸开。

声音之大，气势之强，让白小纯身体哆嗦，有种随时会被雷霹死的感觉，下意识的就想要吐口唾沫将那根香灭掉，但却挣扎忍住。

“三年了，我点这根香点了十二次，这是第十三次，这次一定要忍住，小纯不怕，应该不会被劈死……”白小纯想起了这三年的经历，不算这次，点了十二次，每次都是这样的雷鸣闪电，仙人也没有到来，吓的本就怕死的他每次都吐口唾沫将其熄灭，说来也怪，这根香看似不凡，可实际上一样是浇水就灭。

在白小纯这里心惊肉跳，艰难的于那雷声中等待时，距离这里不远处的天空上，有一道长虹正急速的呼啸而来。

长虹内是一个中年男子，这男子衣着华丽，仙风道骨，可偏偏风尘仆仆，甚至仔细去看，可以看到他神色内深深的疲惫。

“我倒要看看，到底是个什么样的人，竟然点根香点了三年！”

一想到自己这三年的经历，中年男子就气恼，三年前他察觉有人点燃自己还是凝气时送出的香药，想起了当年在凡俗中的一段人情。

这才飞出寻来，原本按照他的打算，很快就会回来，可没成想，刚寻着香气过去，还没等多远，那气息就瞬间消失，断了联系。若是一次也就罢了，这三年，气息出现了十多次。

使得他这里，多次在寻找时中断，就这样来来回回，折腾了三年……

此刻他遥遥的看到了帽儿山，看到了山顶上白小纯，气不打一处来，一瞬飞出，直接就站在了山顶，大手一挥，那根所剩不多的香，直接熄灭。

雷声刹那消失，白小纯愣了一下，抬头一看，看到了自己的身边多了一个中年男子。

“仙人？”白小纯小心翼翼的开口，有些拿不准，背后偷偷捡起一把斧头。

“本座李青候，你是白家后人？”中年修士目光如电，无视白小纯身后的斧子，打量了白小纯一番，觉得眼前此子眉清目秀，依稀与当年的故人相似，资质也不错，心底的恼意，也不由缓了一些。

“晚辈正是白家后人，白小纯。”白小纯眨了眨眼，小声说道，虽然心中有些畏惧，但还是挺了挺腰板。

“我问你，点一根香，为什么点了三年！”中年修士淡淡开口，问出了他这三年里，最想要知道的问题。

白小纯听到这个问题，脑筋飞速转动，然后脸上摆出惆怅，遥望山下的村庄。

“晚辈是一个重情重义的人，舍不得那些乡亲们，每一次我点燃香，他们也都不舍得我离去，如今山下的他们，还在因为我的离去而悲伤呢。”

中年修士一愣，这个缘由，是他之前没想到的，目中的恼色又少了一些，单单从话语上看，此子的本性还是不错的。

可当他的目光落在山下的村子时，他的神识随之扫过，听到了村子里的敲锣打鼓以及那一句句欢呼白鼠狼离去的话语，面色立刻难看起来，有些头疼，看着眼前这个外表乖巧纯朴，人畜无害的白小纯，已心底明朗对方实际上一肚子坏水。

“说实话！”中年修士一瞪眼，声音如同雷声一样，白小纯吓得一个哆嗦。

“这不怨我啊，你那什么破香啊，每次点燃都会打雷，好几次都差点霹死我，我躲过了十三次，已经很不容易了。”白小纯可怜兮兮的说道。

中年修士看着白小纯，半晌无语。

“既然你这么害怕，为什么还要强行去点香十多次？”中年修士缓缓开口。

“我怕死啊，修仙不是能长生么，我想长生啊。”白小纯委屈的说道。

中年修士再次无语，不过觉得此子总算执念可嘉，扔到门派里磨炼一番，或可在性子上改变一二。

于是略一思索，大袖一甩卷着白小纯化作一道长虹，直奔天边而去。

“跟我走吧。”

“去哪？这也太高了吧……”白小纯看到自己在天上飞，下面是万丈深渊，立刻脸色苍白，斧头一扔，死死的抱住仙人的大腿。

中年修士看了眼自己的腿，无奈开口。

“灵溪宗。”

兄弟姐妹们，阔别2个月，你们想不想我啊，我非常想你们！

这本书，我做了详细的大纲，每次回顾大纲里的情节，都很兴奋，有种燃烧的感觉，我非常满意，明天，正式更新，依旧是中午一章，晚上一章！

很兴奋，我们已沉寂了数月，如今归来，要……再战起点！

新书期，兄弟姐妹，别忘了收藏与推荐啊，收藏与推荐至关重要！

求收藏！！求推荐！！

让众人知晓，我们……归来了！

我们的目标，依旧是……点击榜，推荐榜，第一！xh:.181.241.250app2();　　(https://www.biqukan.com/1_1094/5403177.html)chaptererror();　　请记住本书首发域名：www.biqukan.com。笔趣阁手机版阅读网址：wap.biqukan.com