網站首頁 編程語言 正文
背景
?在使用Go語言做爬蟲時,使用http.Get(url)
去獲取網頁內容,狀態碼返回404,Body體為空。
原因分析
?http.Get(url)
是不需要設置header屬性的http請求,比較簡單快捷,但狀態碼返回418,表明我們需要設置其header屬性,那么我們可以使用http.NewRequest
,在設置其header屬性即可~
代碼部分
func main7() { client := &http.Client{} url := "https://movie.douban.com/top250?start=0&filter=" reqest, err := http.NewRequest("GET", url, nil) //設置header屬性 reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115") if err!=nil { fmt.Println(err) return } response, _ := client.Do(reqest) defer response.Body.Close() buf := make([]byte,4096) var result string for { n,err:=response.Body.Read(buf) if n == 0 { fmt.Println("讀取網頁完成") break } if err!=nil && err!=io.EOF { fmt.Println("resp body err",err) return } result += string(buf[:n]) //打印讀取的網頁 fmt.Println(result) } }
原文鏈接:https://blog.csdn.net/liu19721018/article/details/113099234
相關推薦
- 2022-10-01 Docker部署單頁應用的詳細操作_docker
- 2022-07-12 Linux配置nginx開機自啟
- 2022-08-20 Python超詳細講解元類的使用_python
- 2022-02-22 解決:DevTools failed to load SourceMap:... net::ERR_
- 2023-05-22 Redis數據結構類型示例解析_Redis
- 2023-08-12 JQ 實現復制到剪切板
- 2022-09-15 利用Anaconda創建虛擬環境的全過程_python
- 2022-04-18 Python?socket如何解析HTTP請求內容_python
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支