網站首頁 編程語言 正文
for…in 迭代循環
首先介紹Python中最常用的for…in循環遍歷的方式。for…in循環結構用于遍歷列表、元組、字典、字符串、集合、文件等。其實for和in是兩個獨立的語法，for語句是Python內置的迭代器工具，用于從可迭代容器對象（如列表、元組、字典、字符串、集合、文件等）中逐個讀取元素，直到容器中沒有更多元素為止，工具和對象之間只要遵循可迭代協議即可進行迭代操作。in的存在使得python在操作可迭代對象時變得簡單得多，用于配合for使用逐個取可迭代對象的元素。
for語句參與的具體迭代的過程為：可迭代對象通過iter方法返回迭代器，迭代器具有next方法，for循環不斷地調用next方法，每次按序返回迭代器中的一個值，直到迭代到最后，沒有更多元素時拋出異常StopIteration（Python會自動處理異常）。模擬迭代的過程如下所示：
# 迭代的過程
x = [1,2,3]
its = x.__iter__() #列表是可迭代對象，否則會提示不是迭代對象
print(its)
# 打印結果：
<list_iterator object at 0x100f32198>
print(next(its)) # its包含此方法，說明its是迭代器
# 打印結果：
1
print(next(its))
# 打印結果：
2
print(next(its))
# 打印結果：
3
print(next(its))
# 打印結果：
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
StopIteration迭代的優點是無需把所有元素一次加載到內存中，可以在調用next方法時逐個返回元素，避免出現內存空間不夠的情況。
使用for…in循環方式實現單均線突破策略。遍歷全部交易日的收盤價數值和Ma20數值，將收盤價數值減去Ma20數值，并使用np.sign()取差值符號，當收盤價在Ma20上方時差值為正，收盤價在Ma20上下方時差值為負，由負轉正對應為買點，由正轉負對應為賣點。如下所示
def forin_looping(df):
df['signal'] = 0 #df = df.assign(signal = 0) #可采用assign新增一列
for i in np.arange(0,df.shape[0]):
df.iloc[i,df.columns.get_loc('signal')] = np.sign(df.iloc[i]['Close'] - df.iloc[i]['Ma20'])
return df
print(forin_looping(df_stockload)[0:5])
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
"""
iterrows()生成器方式
另一種Python中常用的遍歷方式為iterrows()生成器方式。所謂生成器其實是一種特殊的迭代器，內部支持了迭代器協議。Python中提供生成器函數和生成器表達式兩種方式實現生成器，每次請求返回一個結果，不需要一次性構建一個結果列表，節省了內存空間。
在Python 3中可使用range返回一個迭代器，用來一次一個值地遍歷一個范圍.
# 生成器函數方式實現生成器
def gensquares(N):
?? ?for i in range(N):
?? ??? ?yield i**2?
? ? ? ??
print(gensquares(5))
#打印結果：
<generator object gensquares at 0x11a35cf48>
for i in gensquares(5):
?? ?print(i)?
# 打印結果：
0
1
4
9
16其實yield就相當于一個return，只是return返回的是值，但是yield返回的是生成器，除了這點其他都一樣，所以return也好yield也好都只能用在函數中。
生成器表達式方式實現生成器就是類似列表解析，按需產生結果的一個對象，例程代碼如下所示：
# 生成器表達式方式實現生成器
print(x**2 for x in range(5))
# 打印結果：
<generator object <genexpr> at 0xb3d31fa4>
print(list(x**2 for x in range(5)))
# 打印結果：
[0, 1, 4, 9, 16]通過iterrows()遍歷方式計算股票每個交易日收盤價與Ma20差值，此處iterrows是對dataframe格式數據行進行迭代的一個生成器，它返回每行的索引及包含行本身的對象，代碼如下所示：
#iterrows()遍歷方式
def iterrows_loopiter(df):
? ? df['signal'] = 0 #df = df.assign(signal = 0) ?#可采用assign新增一列
? ? for index,row in df.iterrows():
? ? ? ? df.loc[index, 'signal'] = np.sign(row['Close']-row['Ma20'])
? ? return df
print(iterrows_loopiter(df_stockload)[0:5])
"""
? ? ? ? ? ? ? High ? ? Low ? ?Open ? Close ?Volume ?Adj Close ? ?Ma20 ?signal
Date ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
2018-01-29 ?3587.0 ?3510.3 ?3563.6 ?3523.0 ?236000 ? ? 3523.0 ?3454.3 ? ? 1.0
2018-01-30 ?3523.1 ?3484.7 ?3511.5 ?3488.0 ?186400 ? ? 3488.0 ?3461.3 ? ? 1.0
2018-01-31 ?3495.5 ?3454.7 ?3470.5 ?3480.8 ?207300 ? ? 3480.8 ?3466.8 ? ? 1.0
2018-02-01 ?3495.1 ?3424.4 ?3478.7 ?3447.0 ?260500 ? ? 3447.0 ?3469.9 ? ?-1.0
2018-02-02 ?3463.2 ?3388.9 ?3419.2 ?3462.1 ?208100 ? ? 3462.1 ?3473.4 ? ?-1.0
"""apply()循環方式
apply()方法可將函數應用于dataframe特定行或列。函數由lambda方式在代碼中內嵌實現，lambda 為匿名函數，可以省去定義函數的過程，讓代碼更加精簡。lambda函數的末尾包含axis參數，用來告知Pandas將函數運用于行（axis = 1）或者列（axis = 0）。apply()方法循環方式實現的代碼如下所示：
df_stockload['signal'] = df_stockload.apply(lambda row: (np.sign(row['Close']-row['Ma20'])), axis = 1)
print(df_stockload.head())
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
矢量化遍歷方式
此處我們主要處理一維數組之間的計算，那么矢量化方式可使用Pandas series 的矢量化方式和Numpy arrays的矢量化方式兩種。
先來看下Pandas series 的矢量化方式。
Pandas的DataFrame、series基礎單元數據結構基于鏈表，因此可將函數在整個鏈表上進行矢量化操作，而不用按順序執行每個值。
Pandas包括了非常豐富的矢量化函數庫，我們可把整個series（列）作為參數傳遞，對整個鏈表進行計算。Pandas series 的矢量化方式實現代碼如下：
#Pandas series 的矢量化方式
df_stockload['signal'] = np.sign(df_stockload['Close']-df_stockload['Ma20'])
print(df_stockload.head())
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
"""
對于Numpy arrays的矢量化方式，由于本例的矢量化運算中只使用了series的數值，無需使用索引等信息，因此可將series轉換為array類型，節省操作過程中的很多開銷。
我們可使用values 方法將鏈表從Pandas series轉換為NumPy arrays，把NumPy array作為參數傳遞，對整個鏈表進行計算。Numpy arrays的矢量化方式實現代碼如下：
#Numpy arrays的矢量化方式
df_stockload['signal'] = np.sign(df_stockload['Close'].values-df_stockload['Ma20'].values)
print(df_stockload.head())
"""
High Low Open Close Volume Adj Close Ma20 signal
Date
2018-01-29 3587.0 3510.3 3563.6 3523.0 236000 3523.0 3454.3 1.0
2018-01-30 3523.1 3484.7 3511.5 3488.0 186400 3488.0 3461.3 1.0
2018-01-31 3495.5 3454.7 3470.5 3480.8 207300 3480.8 3466.8 1.0
2018-02-01 3495.1 3424.4 3478.7 3447.0 260500 3447.0 3469.9 -1.0
2018-02-02 3463.2 3388.9 3419.2 3462.1 208100 3462.1 3473.4 -1.0
"""
執行效率對比
#使用timeit方法對比方法參考例程如下，需要import timeit模塊：
from timeit import timeit
def test1():
? ? forin_looping(df_stockload)
def test2():
? ? iterrows_loopiter(df_stockload)
def test3():
? ? df_stockload['signal'] = df_stockload.apply(lambda row: (np.sign(row['Close'] - row['Ma20'])), axis=1)
def test4():
? ? df_stockload['signal'] = np.sign(df_stockload['Close']-df_stockload['Ma20'])
def test5():
? ? df_stockload['signal'] = np.sign(df_stockload['Close'].values - df_stockload['Ma20'].values)
#for..in循環迭代方式
t1 = timeit('test1()', 'from __main__ import test1', number=100)
#iterrows()遍歷方式
t2 = timeit('test2()', 'from __main__ import test2', number=100)
#apply()方法循環方式
t3 = timeit('test3()', 'from __main__ import test3', number=100)
#Pandas series 的矢量化方式
t4 = timeit('test4()', 'from __main__ import test4', number=100)
#Numpy arrays的矢量化方式：
t5 = timeit('test5()', 'from __main__ import test5', number=100)
print(t1,t2,t3,t4,t5)
#14.943237108999998 8.827773373 0.5511996379999999 0.02215727200000117 0.012933490000001768總結
可以看出循環執行的速度是最慢的，iterrows()針對Pandas的dataframe進行了優化，相比直接循環有顯著提升。apply()方法也是在行之間進行循環，但由于利用了類似Cython的迭代器的一系列全局優化，其效率要比iterrows高很多。
NumPy arrays的矢量化運行速度最快，其次是Pandas series矢量化。
由于矢量化是同時作用于整個序列的，可以節省更多的時間，相比使用標量操作更好，NumPy使用預編譯的C代碼在底層進行優化，同時也避免了Pandas series操作過程中的很多開銷，例如索引、數據類型等等，因此，NumPy arrays的操作要比Pandas series快得多。
原文鏈接：https://blog.csdn.net/weixin_44580977/article/details/102016863
相關推薦
- 2022-03-29 python實現k-means算法_python
- 2022-05-02 DevOps自動化組件RUNDECK開發部署使用說明_服務器其它
- 2023-10-11 Mybatis-Plus條件構造器的select
- 2022-02-16 C語言實現wave波形_C 語言
- 2022-11-22 docker+Nginx部署前端項目的詳細過程記錄_docker
- 2022-07-07 Python實現8個概率分布公式的方法詳解_python
- 2022-07-07 Pytorch卷積神經網絡遷移學習的目標及好處_python
- 2022-06-25 iOS實現文件下載功能_IOS
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版（
- Linux 中運行的top命令 怎么退出？
- MySQL 中decimal 的用法？ 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符，流程控制 Flo
- 1. Int 和Integer 的區別，Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤：Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密？
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串（SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列，發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支
提供CDN加速