scrapy爬蟲報錯內容

pymongo.errors.DuplicateKeyError: E11000 duplicate key error collection: scrapy_data.qiushibaike index: id dup key: { _id: ObjectId(‘61989dfcfe585e2673d7ee1b’) }, full error: {‘index’: 0, ‘code’: 11000, ‘keyPattern’: {’_id’: 1}, ’
keyValue’: {’_id’: ObjectId(‘61989dfcfe585e2673d7ee1b’)}, ‘errmsg’: “E11000 duplicate key error collection: scrapy_data.qiushibaike index: id dup key: { _id: ObjectId(‘61989dfcfe585e2673d7ee1b’) }”}

2個步驟解決：
1.爬蟲items.py加入_id字段

2.我們使用 MongoDB 只能插入字典，但是item 是類似字典所以報錯。
插入數據的時候做一個字典的轉化動作：

注：我的scrapy版本是2.5.1