鍍金池/ 問答/PHP  Python/ 當當網(wǎng)爬取數(shù)據(jù)到MySQL數(shù)據(jù)庫,沒有信息。

當當網(wǎng)爬取數(shù)據(jù)到MySQL數(shù)據(jù)庫,沒有信息。

使用scrapy框架寫的當當網(wǎng)數(shù)據(jù)爬取,數(shù)據(jù)能爬下來,但是導(dǎo)入不進去數(shù)據(jù)庫中
大神,又來打擾你了
1.數(shù)據(jù)庫名稱:
dd:數(shù)據(jù)庫名
ddw 表名
clipboard.png
2.問題報錯

clipboard.png
3.代碼:
3.1 items文件代碼:

import scrapy
class DangdangItem(scrapy.Item):

   title=scrapy.Field()
   link=scrapy.Field()
   comment =scrapy.Field()

3.2 ddd文件代碼:
import scrapy
from dangdang.items import DangdangItem

class DdSpider(scrapy.Spider):

   name = 'ddd'
   allowed_domains = ['dangdang.com']
   start_urls = ['http://category.dangdang.com/pg1-cid4010275.html']

def parse(self, response):
    item=DangdangItem()
    item['title']=response.xpath('//p[@class="name"]/a/@title').extract()
    item['link']=response.xpath('//p[@class="name"]/a/@href').extract()
    item['comment']=response.xpath('//p[@class="star"]/a/text()').extract()
    yield item
    

3.3pipeline文件代碼
import pymysql
from dangdang.items import DangdangItem

class DangdangPipeline(object):

def process_item(self, item, spider):
    conn=pymysql.connect(host="127.0.0.1",user="root",passwd="562390",db="dd")
    cursor=conn.cursor()
    for i in range(0,len(item["title"])):
        title=item["title"][i]
        link=item["link"][i]
        comment=item["comment"][i]
        sql="insert into ddw(title,link,comment)values('"+title+"','"+link+"','"+comment+"')"
        conn.query(sql)
    conn.close()
    return item
回答
編輯回答
兔囡囡

是不是需要commit提交一下哦~

2018年3月15日 08:31