日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學(xué)無(wú)先后，達(dá)者為師

網(wǎng)站首頁(yè) 編程語(yǔ)言 正文

在python?list中篩選包含字符的字段方式_python

作者：cuisidong1997 ? 更新時(shí)間： 2022-12-04 編程語(yǔ)言

python list篩選包含字符的字段

l = [‘123a',‘456b',‘789c']

ll = [s for s in l if ‘a(chǎn)' in s]

這是通過(guò)判斷語(yǔ)句

lst = [“123a”, “456b”, “789c”]
lst = list(filter(lambda x: x.find(“a”) >= 0, lst))
print(lst)

這是通過(guò)函數(shù)

Python 列表篩選數(shù)據(jù)

在做數(shù)據(jù)處理中，常會(huì)遇到列表篩選

比如有以下兩個(gè)列表

?

根據(jù)上列表中的KEY1 , 篩選下列表的數(shù)據(jù)，也就是標(biāo)黃的數(shù)據(jù)。數(shù)量不大的情況，一般就是遍歷比較，邏輯簡(jiǎn)單，幾行代碼搞掂。

但如果列表達(dá)到萬(wàn)，或者百萬(wàn)、千萬(wàn)，那遍歷效率就低了。

先構(gòu)造測(cè)試的列表

# 構(gòu)造篩選目標(biāo)列表,確保KEY不重復(fù)
n1 = 30000
n1_set = set([random.randint(1,n1)  for n in range(n1)])
n1 = len(n1_set)
list1 = [['1108{:0>6d}27'.format(n), "".join(random.sample('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz',10))] for n in n1_set]
 
# 構(gòu)造待篩選數(shù)據(jù)列表,確保KEY不重復(fù)
n2 = 100000
n2_set = set([random.randint(1,n2)  for n in range(n2)])
n2= len(n2_set)
list2 = [['1108{:0>6d}27'.format(n), "".join(random.sample('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz',5)),n ] for n in n2_set]

比較遍歷、列表生成式+filter 、pandas 的 merge 三種方法效率

篩選目標(biāo)18971條, 待處理數(shù)據(jù)63275條
遍歷生成數(shù)據(jù) 耗時(shí)11.591秒 獲得數(shù)據(jù)量 12024
['11080000427', 'eArVD', 4]
filter 耗時(shí)11.5秒 獲得數(shù)據(jù)量 12024
['11080000427', 'eArVD', 4]
merge 耗時(shí)0.058秒 獲得數(shù)據(jù)量 12024
['11080000427', 'eArVD', 4]
篩選目標(biāo)189733條, 待處理數(shù)據(jù)632363條
遍歷生成數(shù)據(jù) 耗時(shí)1597.4296秒 獲得數(shù)據(jù)量 120180
['1108000000227', 'NkoEQ', 2]
filter 耗時(shí)1575.0432秒 獲得數(shù)據(jù)量 120180
['1108000000227', 'NkoEQ', 2]
merge 耗時(shí)0.64秒 獲得數(shù)據(jù)量 120180
['1108000000227', 'NkoEQ', 2]

經(jīng)過(guò)比較， 直接遍歷生成和列表生成式+filter的效率基本一致，?pandas 的merge 效率最高。適合大批量數(shù)據(jù)處理。

上代碼

print("篩選目標(biāo){}條, 待處理數(shù)據(jù){}條".format(n1,n2))
 
# 直接遍歷生成數(shù)據(jù)，計(jì)時(shí)
t1 = time.time()
list_temp = [n[0] for n in list1]
list3 = []
for n in list2:
    if n[0] in list_temp:
        list3.append(n)
t2 = time.time()
print("遍歷生成數(shù)據(jù) 耗時(shí){}秒".format(round(t2 - t1, 4)), "獲得數(shù)據(jù)量", len(list3))
print(list3[0]) 
 
 
# 用filter篩選數(shù)據(jù)，計(jì)時(shí)
t1 = time.time()
list_temp = [n[0] for n in list1]
list3 = [n for n in filter(lambda x: x[0] in list_temp, list2)]
t2 = time.time()
print("filter 耗時(shí){}秒".format(round(t2 - t1,4)), "獲得數(shù)據(jù)量", len(list3))
print(list3[0])
 
 
# 用pd.merge 篩選數(shù)據(jù)，計(jì)時(shí)
t1 = time.time()
df1 = pd.DataFrame(list1, columns=['k1','m1'])
df2 = pd.DataFrame(list2, columns=['k1','m2','n2'])
df3 = pd.merge(df1[['k1']], df2, how='inner', on='k1')
t2 = time.time()
print("merge 耗時(shí){}秒".format(round(t2 - t1,4)), "獲得數(shù)據(jù)量", len(df3))
print(list(df3.iloc[0]))

原文鏈接：https://blog.csdn.net/cuisidong1997/article/details/116493137

欄目分類(lèi)
最近更新