爬蟲(chóng)文學(xué)網(wǎng)站,獲取了章節(jié)數(shù), 點(diǎn)擊量, 章節(jié)字?jǐn)?shù), 想寫(xiě)入一個(gè)csv文件,可是爬出來(lái)的內(nèi)容和我設(shè)的colum 對(duì)應(yīng)不上, 章節(jié)字?jǐn)?shù)出現(xiàn)在章節(jié)數(shù)和點(diǎn)擊量前面。我想讓它出現(xiàn)在wordcount這個(gè)colum下面。
代碼如下:
import requests
import re
import json
import csv
from bs4 import BeautifulSoup as bs
start_url = "http://www.jjwxc.net/onebook.php?novelid=3601"
res = requests.get(start_url)
res.encoding = "gb2312"
soup = bs(res.text, "html.parser")
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36"}
url = "http://s8-static.jjwxc.net/getnovelclick.php?novelid=3601&jsonpcall\
back=novelclick"
web_data = requests.get(url, headers=headers)
web_data.encoding = "gzip"
result = web_data.content.decode()
string = re.findall(r'({.*?})', result)[0]
tmp_dict = json.loads(string)
wordcount = soup.find_all("td", {"itemprop": "wordCount"})
with open("JJWXC Scraping.csv","w") as csvfile:
writer = csv.writer(csvfile)
writer.writerow(['Chapters','Views', 'Wordcount'])
for w in wordcount:
writer.writerow(w)
for k in tmp_dict.items():
writer.writerow(k)
打印出來(lái)在csv file 里面顯示這樣:
Chapters,Views,Wordcount
500
2592
819
1720
2862
4862
1988
1559
1069
2570
1812
2441
3549
2841
6222
1485
5002
2330
1795
3620
3969
5120
4943
4892
4818
6707
5014
6140
2553
4587
1,82799
2,73460
3,52374
4,49213
5,46872
6,43722
7,36363
8,36089
9,35938
10,35594
11,32933
12,34381
13,33675
14,31390
15,33825
16,32669
17,30706
18,32187
19,29489
20,31241
21,30233
22,28571
23,30078
24,28894
25,29471
26,29500
27,29411
28,29703
29,31449
30,53456
wordcount出現(xiàn)在所有文章數(shù)和點(diǎn)擊量前面了。
北大青鳥(niǎo)APTECH成立于1999年。依托北京大學(xué)優(yōu)質(zhì)雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國(guó)IT技能型緊缺人才,是大數(shù)據(jù)專(zhuān)業(yè)的國(guó)家
北大青鳥(niǎo)中博軟件學(xué)院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網(wǎng)學(xué)院和江蘇省首批服務(wù)外包人才培訓(xùn)基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團(tuán)創(chuàng)建于1999年,經(jīng)過(guò)二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術(shù)與教育服務(wù)機(jī)構(gòu),發(fā)展為教育服務(wù)業(yè)的綜合性企業(yè)集團(tuán),成為集合面授教學(xué)培訓(xùn)、網(wǎng)
達(dá)內(nèi)教育集團(tuán)成立于2002年,是一家由留學(xué)海歸創(chuàng)辦的高端職業(yè)教育培訓(xùn)機(jī)構(gòu),是中國(guó)一站式人才培養(yǎng)平臺(tái)、一站式人才輸送平臺(tái)。2014年4月3日在美國(guó)成功上市,融資1
曾工作于聯(lián)想擔(dān)任系統(tǒng)開(kāi)發(fā)工程師,曾在博彥科技股份有限公司擔(dān)任項(xiàng)目經(jīng)理從事移動(dòng)互聯(lián)網(wǎng)管理及研發(fā)工作,曾創(chuàng)辦藍(lán)懿科技有限責(zé)任公司從事總經(jīng)理職務(wù)負(fù)責(zé)iOS教學(xué)及管理工作。
浪潮集團(tuán)項(xiàng)目經(jīng)理。精通Java與.NET 技術(shù), 熟練的跨平臺(tái)面向?qū)ο箝_(kāi)發(fā)經(jīng)驗(yàn),技術(shù)功底深厚。 授課風(fēng)格 授課風(fēng)格清新自然、條理清晰、主次分明、重點(diǎn)難點(diǎn)突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫(kù),具有快速界面開(kāi)發(fā)的能力,對(duì)瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網(wǎng)頁(yè)制作和網(wǎng)頁(yè)游戲開(kāi)發(fā)。
具有10 年的Java 企業(yè)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)。曾經(jīng)歷任德國(guó)Software AG 技術(shù)顧問(wèn),美國(guó)Dachieve 系統(tǒng)架構(gòu)師,美國(guó)AngelEngineers Inc. 系統(tǒng)架構(gòu)師。