網(wǎng)站首頁 編程語言 正文
unicode編碼方案:
unicode只規(guī)定了每個字符所對應(yīng)的碼值(碼點(diǎn)),即編碼,但并沒有規(guī)定如何在計算機(jī)中實(shí)現(xiàn)。同一個字符,可通過utf-8、utf-16、utf-32、gb2312(對中文)等多種方式各自實(shí)現(xiàn)。encode()方法就是將unicode編碼方式轉(zhuǎn)化為對應(yīng)的實(shí)現(xiàn)方式,而decode()相反,將實(shí)現(xiàn)方式轉(zhuǎn)化為編碼。
1.decode()
bytes.decode(encoding=“utf-8”, errors=“strict”)
1.這個函數(shù)是bytes類型數(shù)據(jù)調(diào)用的,字符串str類型是不能夠調(diào)用的。(好多文章說字符串也可以調(diào)用該函數(shù),我是真搞不懂。)
2.該函數(shù)返回字符串。換句話說是bytes類型轉(zhuǎn)化成str類型的函數(shù)。
3.encoding規(guī)定解碼方式。bytes數(shù)據(jù)是由什么編碼方式編碼的,該函數(shù)encoding參數(shù)就必須用相應(yīng)解碼方式,這樣才能返回正確字符串。解碼后的字符串自動轉(zhuǎn)為unicode編碼方式。
4.errors參數(shù)默認(rèn)為strict,即解碼錯誤后引起異常發(fā)生。其他參數(shù)值為ignore,replace等。
2.encode()
str.encode(encoding=“utf-8”, errors=“strict”)
參數(shù)含義同上。這個函數(shù)將字符串轉(zhuǎn)化成相應(yīng)編碼方式的字節(jié)形式。對于ASCII字符(數(shù)字,英文,部分標(biāo)點(diǎn)符號)而言,不同編碼方式編碼后的字節(jié)是一樣的。但是對于中文來說,編碼后的字節(jié)不一樣。
3.轉(zhuǎn)碼
例如,我有一個中文網(wǎng)站,網(wǎng)站編碼方式為gb2312,我通過requests請求后要將網(wǎng)頁打印出來。但是python內(nèi)部是unicode編碼的,直接response.text肯定會返回亂碼。
import requests
url_all="https://www.kanunu8.com/"
header_all={
'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
'upgrade-insecure-request': '1',
}
def get_classification_urls(url,headers):
try:
response=requests.get(url,headers=headers,timeout=10)
if response.status_code==200:
print(response.text))
except Exception as e:
print(e)
如下圖,果然亂碼
這時就需要正確解碼,即將gb2312解碼為unicode.我們可以這樣:
1.先獲取編碼的二進(jìn)制格式,該格式為gb2312編碼的二進(jìn)制:
bytes=response.content
2.將二進(jìn)制格式通過decode()函數(shù)解碼為unicode格式:
bytes.decode(encoding="gb2312")
decode()函數(shù)是bytes類型轉(zhuǎn)str類型,這樣就能夠返回正確的字符串了。
當(dāng)然,這個例子即使通過gb2312解碼,仍然是亂碼。原因可能是原網(wǎng)頁含有g(shù)b2312不能識別的字符(雖然gb2312是為中國文字服務(wù)的,但是有些少數(shù)名族的字符也屬于中國文字,但是并沒有包含在gb2312內(nèi))。后來為了擴(kuò)充編碼,由在gb2312基礎(chǔ)上增加了gbk和gb18030編碼,二者范圍更廣。事例用gb18030即可正確解碼。
原文鏈接:https://blog.csdn.net/qq_27056805/article/details/86469647
相關(guān)推薦
- 2022-12-09 React文件分段上傳實(shí)現(xiàn)方法詳解_React
- 2022-06-23 批處理腳本del命令的具體使用_DOS/BAT
- 2022-12-23 C++中關(guān)于getchar()的使用方法_C 語言
- 2022-09-15 Kotlin創(chuàng)建一個好用的協(xié)程作用域_Android
- 2022-03-19 使用Docker部署Spring?Boot項(xiàng)目的實(shí)現(xiàn)步驟_docker
- 2023-12-21 uniapp 清除文件緩存
- 2022-06-17 基于pgrouting的路徑規(guī)劃處理方法_PostgreSQL
- 2022-10-23 Oracle中for循環(huán)的使用方法_C#教程
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡單動態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支