1.Python多進程不能將信息放入隊列
2.代碼:
from urllib import request
from bs4 import BeautifulSoup
from multiprocessing import Manager
from multiprocessing import Pool
import os
def hand_url(url,name,queue):
room_message = {} #存放我需要的信息
print(name,os.getpid())
one_roomlist=[]
req=request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36')
with request.urlopen(req)as f:
data = f.read().decode()
soup = BeautifulSoup(data, 'html.parser')
clear_1 = soup.find_all(class_="table_type_7 responsive_table full_width t_align_l")
clear_1 = clear_1[0].tbody.contents
for i in clear_1:
if i != '\n':
message_small = []
for x in i.strings:
if x != '\n':
message_small.append(x)
one_roomlist.append(message_small)
room_message[name] = one_roomlist
#前半部分為爬去網頁信息和篩選內容
print(room_message)
queue.put(room_message) #程序在這里卡住了,room_message為一個字典
print('ok')
if __name__ == '__main__':
queue=Manager().Queue()
pool = Pool(4)
pool.apply_async(hand_url,('http://202.115.129.139:81/trainingroomnote?roomid=91','A405',queue))
pool.close()
pool.join()
print(queue.get())
3.問題截圖
4.我自己嘗試把print(room_message)得到的內容直接復制添加到隊列里面是可以的,但是一旦改成queue.put(room_message)程序是卡在這里的
道友 你首先要明白問題所在,到底是什么原因。
打個斷點,進去到queue隊列里的代碼看看。看看queue里面的代碼是卡在了哪一步,報錯了嗎?如果報錯了,是什么錯誤。
有時候,代碼會捕獲異常,讓你無法直接判斷錯誤所在。
回到這個問題,程序卡住了,是不是隊列滿了?是不是有異常未捕獲? 是不是達到了競態(tài)條件?是不是發(fā)生了死鎖?(是的是的 就是你)
這個根本原因在于 你的隊列queue其實是共享變量,多線程不安全。線程池里對該隊列的操作達到了競態(tài)條件,所以一直等待對象鎖的釋放(同步阻塞ing)
把程序好好改一下吧,做個同步,給隊列加個鎖就行了。
好好看一下多線程的內存模型,消費者生產者模式 就行
北大青鳥APTECH成立于1999年。依托北京大學優(yōu)質雄厚的教育資源和背景,秉承“教育改變生活”的發(fā)展理念,致力于培養(yǎng)中國IT技能型緊缺人才,是大數據專業(yè)的國家
北大青鳥中博軟件學院創(chuàng)立于2003年,作為華東區(qū)著名互聯(lián)網學院和江蘇省首批服務外包人才培訓基地,中博成功培育了近30000名軟件工程師走向高薪崗位,合作企業(yè)超4
中公教育集團創(chuàng)建于1999年,經過二十年潛心發(fā)展,已由一家北大畢業(yè)生自主創(chuàng)業(yè)的信息技術與教育服務機構,發(fā)展為教育服務業(yè)的綜合性企業(yè)集團,成為集合面授教學培訓、網
達內教育集團成立于2002年,是一家由留學海歸創(chuàng)辦的高端職業(yè)教育培訓機構,是中國一站式人才培養(yǎng)平臺、一站式人才輸送平臺。2014年4月3日在美國成功上市,融資1
曾工作于聯(lián)想擔任系統(tǒng)開發(fā)工程師,曾在博彥科技股份有限公司擔任項目經理從事移動互聯(lián)網管理及研發(fā)工作,曾創(chuàng)辦藍懿科技有限責任公司從事總經理職務負責iOS教學及管理工作。
浪潮集團項目經理。精通Java與.NET 技術, 熟練的跨平臺面向對象開發(fā)經驗,技術功底深厚。 授課風格 授課風格清新自然、條理清晰、主次分明、重點難點突出、引人入勝。
精通HTML5和CSS3;Javascript及主流js庫,具有快速界面開發(fā)的能力,對瀏覽器兼容性、前端性能優(yōu)化等有深入理解。精通網頁制作和網頁游戲開發(fā)。
具有10 年的Java 企業(yè)應用開發(fā)經驗。曾經歷任德國Software AG 技術顧問,美國Dachieve 系統(tǒng)架構師,美國AngelEngineers Inc. 系統(tǒng)架構師。