鍍金池/ 問答/Python/ 【python小白】 做了一個爬蟲,但是爬出來的東西無法存儲

【python小白】 做了一個爬蟲,但是爬出來的東西無法存儲

問題如下:

# -*- coding:utf-8 -*-
from urllib.request import urlopen
import bs4
import webbrowser
import requests

html_list = [] #存放要爬的所有網(wǎng)頁
html_list_txt = [] #存放要爬的所有網(wǎng)頁的源代碼
movie_list = [] #存放所有電影
movie_total = {} #存放所有電影資料的字典

html = 'https://movie.douban.com/top250'
html_list.append(html)
#html2 = requests.get('https://movie.douban.com/top250')
#webbrowser.open(html)
#webbrowser.open(html)
html_txt = (urlopen(html)).read()
#html_txt = (requests.get(html)).text

bsObj = bs4.BeautifulSoup(html_txt, 'html.parser')
print('---1---')
html_div = bsObj.find('div',{'class':'paginator'})
print('---2---')
html_a = html_div.findAll('a')
print('---3---')
for html_a_temp in html_a:
#    print(type(html_a_temp))
    #i = 2
   #while i <= 9:
    #print(html_a_temp.get_text())
    #if html_a_temp.get_text != '后頁>':
        html_href = html_a_temp.attrs['href']
        html_ + html_href
        html_list.append(html_href)
        #i += 1
    
print('---4---')
html_list = list(set(html_list))
print(len(html_list))
#print(html_set)
#print(len(html_set))
#print(set(html_list))
#print(type('后頁'))

#上面的代碼為找到所有的鏈接
for html_list_temp in html_list:
    '''把所有要爬的鏈接全部轉(zhuǎn)換成源代碼并存儲'''
    html_read = bs4.BeautifulSoup(urlopen(html_list_temp).read(), 'html.parser')
    html_list_txt.append(html_read)

for html_page in html_list_txt:
    name_div_list = html_page.findAll('div',{'class':'info'})
    for name_div_temp in name_div_list:
        name_div_inside = name_div_temp.findAll('div')

        movie_name = name_div_inside[0].a.span.get_text()  #找到電影名字
        name_div_star = name_div_temp.find('div',{'class':'star'})
        name_div_star_span = name_div_star.findAll('span')
        movie_score = name_div_star_span[1].get_text()  #找到電影評分
        movie_number = name_div_star_span[3].get_text()  #找到電影評價人數(shù)
        # ------分隔符-----
        #name_span_inq = name_div_temp.findAll('p')[1].span.get_text()
        #movie_introduction = name_span_inq

        #name_span_inq = name_div_temp.find('span',{'class':'inq'})
        print('----ttt----')
        #movie_introduction = name_span_inq.get_text()  #找到電影簡評
        movie_total['name'] = movie_name
        movie_total['score'] = movie_score
        movie_total['number'] = movie_number
        #movie_total['introduction'] = movie_introduction
        movie_list.append(movie_total)
print(movie_list)

'''
        name_div_inside_span_list = name_div_inside[1].div.findAll('span')
        for name_div_inside_span_temp in name_div_inside_span_list:
            movie_score = name_div_inside[1].div.span[1].get_text() #找到電影評分
            movie_number = name_div_inside[1].div.span[3].get_text() #找到評價人數(shù)
'''
#movie_total[name] = movie_name
'''
    name_div_list = html_page.findAll('div',{'class':'hd'})
    for name_div_temp in name_div_list:
        movie_name = name_div_temp.a.span.get_text()
        movie_name_list.append(movie_name)
'''
#print(movie_name_list)

運行結(jié)果如下:

clipboard.png

這個爬蟲我還在測試中,本身還存在一些其他問題,有待解決。
但是我現(xiàn)在想問的是,為什么我在爬豆瓣TOP250電影的時候,每次抓下來一個電影,存到列表里,最終打印出來的全部都是同一個電影呢?
我怎么樣改動代碼,才能讓這些電影變成一個一個不同的電影呢?

回答
編輯回答
夢一場

因為你的movie_total一直是同一個對象,你一直在修改同一個對象,最終結(jié)果就是你的movie_list里全引用了同一個對象,而你每次修改movie_total都會覆蓋之前的對象。解決方法就是把movie_total的聲明移到循環(huán)體里,每次循環(huán)都把movie_total重新初始化為空字典。

2017年8月7日 18:06