網(wǎng)站首頁 編程語言 正文
報錯代碼
粉絲群里面的一個小伙伴想用requests爬蟲,然后遍歷Xpath定位的數(shù)據(jù)列表的時候,發(fā)生了報錯(當(dāng)時他心里瞬間涼了一大截,跑來找我求助,然后順利幫助他解決了,順便記錄一下希望可以幫助到更多遇到這個bug不會解決的小伙伴),報錯代碼如下:
import requests
from lxml import etree
text = requests.get("https://www.baidu.com").content.decode()
html = etree.HTML(text)
div_divst = html.xpath("http://div")
for div in div_divst:
title = div.xpath("@title")[0]
url = div.xpath("@url")[0]
報錯信息如下:
IndexError: list index out of range
報錯翻譯
報錯信息翻譯:
索引錯誤:列表索引超出范圍
報錯原因
list index out of range錯誤出現(xiàn)的原因主要有兩個:
- 一個可能是下標(biāo)超出范圍
- 一個可能是list是空的,沒有一個元素
粉絲的爬蟲代碼中明顯是因為Xpath沒有定位到數(shù)據(jù),所以list為空,list[0]就會報錯。小伙伴們按下面的方法解決即可!!!
解決方法
用異常捕獲Xpath定位,當(dāng)報錯的時候捕獲異常并把title和url賦值為None:
import requests
from lxml import etree
text = requests.get("https://www.baidu.com").content.decode()
html = etree.HTML(text)
div_divst = html.xpath("http://div")
for div in div_divst:
try:
title = div.xpath("@title")[0]
url = div.xpath("@url")[0]
except:
title = None
url = None
幫忙解決
總結(jié)
原文鏈接:https://blog.csdn.net/yuan2019035055/article/details/126342734
相關(guān)推薦
- 2022-04-12 Top-level statements must precede namespace and ty
- 2022-08-17 C++詳解鏈棧的實現(xiàn)_C 語言
- 2024-01-05 【PostgreSQL啟動,停止命令(重啟)】
- 2022-09-15 python?Pandas庫read_excel()參數(shù)實例詳解_python
- 2022-03-23 Asp.Net?Core?使用Monaco?Editor?實現(xiàn)代碼編輯器功能_實用技巧
- 2022-07-18 SpringBoot之定時任務(wù)三種實現(xiàn)方法
- 2022-05-12 tp5 二級項目目錄配置nginx偽靜態(tài)
- 2022-12-07 C++?基本數(shù)據(jù)類型中int、long等整數(shù)類型取值范圍及原理分析_C 語言
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡單動態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支