網(wǎng)站首頁 編程語言 正文
使用場(chǎng)景
對(duì)手機(jī)號(hào)碼進(jìn)行地域分析,需要查詢歸屬地;
問題描述
針對(duì)數(shù)據(jù)集比較大的情況,通過腳本來處理,使用多線程的方法來加快查詢速度
pool = multiprocessing.Pool(processes=pool_count)
for i in data_cut(data,pool_count):
data_log_list.append(pool.apply_async(main, (i,)))
pool.close()
pool.join()
解決方案
創(chuàng)建一個(gè) pool 進(jìn)程池,然后通過data_cut將數(shù)據(jù)讀取并且等分成數(shù)據(jù)組,設(shè)置好pool_count進(jìn)程數(shù)量就可以開始,每個(gè)數(shù)據(jù)組獨(dú)立查詢?nèi)缓髮⒔Y(jié)果匯總給push_log進(jìn)行最終處理,保存為csv文件。
# 電話號(hào)碼歸屬地查詢
import os
import sys
import time
import json
import warnings
import pandas as pd
import multiprocessing
from phone import Phone
warnings.filterwarnings("ignore")
path = os.path.abspath(".")
def data_cut(data_list,data_cut=4):
#將任務(wù)拆分,建議拆分?jǐn)?shù)為CPU核心數(shù),默認(rèn)為4
#分組數(shù)據(jù),分組間隔
data_all=[]
if data_cut > len(data_list):
data_cut = len(data_list)
data_cut_num = int((len(data_list)+1)/data_cut)
for i in range(1,data_cut+1):
if i < data_cut:
data_1=data_list[data_cut_num*(i-1):data_cut_num*i]
else:
data_1=data_list[data_cut_num*(i-1):]
data_all.append(data_1)
return data_all
def push_log(data_log_list,file_name):
data_all = []
data_list = [i.get() for i in data_log_list]
for i in data_list:
for j in i:
data_all.append(j)
data_all = pd.DataFrame(data_all)
data_all.to_csv(path + "/phone_{}.csv".format(file_name),index=False,encoding='gbk')
print('成功查詢:',data_all.shape[0])
def main(data):
resp = []
for i in data:
try:
if type(Phone().find(i)) == dict:
resp.append(Phone().find(i))
except:
pass
return resp
if __name__ == '__main__':
start_time= time.time()
file_name = name = sys.argv[1]
data = pd.read_table(path + "/{}".format(file_name),header=None)
data=list(data[0])
pool_count = 12
data_log_list = []
pool = multiprocessing.Pool(processes=pool_count)
for i in data_cut(data,pool_count):
data_log_list.append(pool.apply_async(main, (i,)))
pool.close()
pool.join()
push_log(data_log_list,file_name)
print(time.time()-start_time)
方法補(bǔ)充
除了上文的方法,小編還為大家整理了一些其他Python號(hào)碼歸屬地查詢的方法,需要的可以參考一下
方法一:
import requests
def get_callerloc(phone):
url = f"https://www.qvdv.com/tools/qvdv-api-mobile.html?f=json&mobile={phone}"
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36',
}
response = requests.request("GET", url, headers=headers).json()
return response["message"]
if __name__ == '__main__':
phone = input("請(qǐng)輸入手機(jī)號(hào)(查詢歸屬地):")
res = get_callerloc(phone)
print("手機(jī)號(hào)碼:"+res["mobile"])
print("歸屬地:"+res["province"])
print("運(yùn)營(yíng)商:"+res["supplier"])
截圖
方法二
GUI
from tkinter import *
from tkinter import ttk
from tkinter import messagebox
from Get_Attr import Get_Infos
import re
import threading
class App:
def __init__(self):
self.root=Tk()
self.root.title('手機(jī)號(hào)碼歸屬地查詢-v1.0')
self.root.resizable(0,0)
width=410
height=390
left=(self.root.winfo_screenwidth()-width)/2
top=(self.root.winfo_screenheight()-height)/2
self.root.geometry('%dx%d+%d+%d'%(width,height,left,top))
self.create_widet()
self.set_widget()
self.place_widget()
self.root.mainloop()
def create_widet(self):
self.l1=ttk.Label(self.root)
self.e1=ttk.Entry(self.root)
self.b1=ttk.Button(self.root)
self.lf=ttk.LabelFrame(self.root)
self.l2=ttk.Label(self.lf)
self.e2=ttk.Entry(self.lf)
self.l3=ttk.Label(self.lf)
self.e3=ttk.Entry(self.lf)
self.l4=ttk.Label(self.lf)
self.e4=ttk.Entry(self.lf)
self.l5=ttk.Label(self.lf)
self.e5=ttk.Entry(self.lf)
self.l6=ttk.Label(self.lf)
self.e6=ttk.Entry(self.lf)
self.l7=ttk.Label(self.lf)
self.e7=ttk.Entry(self.lf)
self.b1.config(command=lambda:self.thread_it(self.search_infos))
def set_widget(self):
self.e2_var=StringVar()
self.e3_var=StringVar()
self.e4_var=StringVar()
self.e5_var=StringVar()
self.e6_var=StringVar()
self.e7_var=StringVar()
self.l1.config(text='請(qǐng)輸入手機(jī)號(hào):')
self.b1.config(text='查詢')
self.lf.config(text='查詢結(jié)果')
self.l2.config(text='手機(jī)號(hào)碼:')
self.l3.config(text='所屬省份:')
self.l4.config(text='所屬城市:')
self.l5.config(text='區(qū) 號(hào):')
self.l6.config(text='郵 編:')
self.l7.config(text='類 型:')
#將字符串變量綁定Entry組件
self.e2.config(textvariable=self.e2_var)
self.e3.config(textvariable=self.e3_var)
self.e4.config(textvariable=self.e4_var)
self.e5.config(textvariable=self.e5_var)
self.e6.config(textvariable=self.e6_var)
self.e7.config(textvariable=self.e7_var)
self.root.bind('<Escape>',self.escape)
self.root.bind('<Return>',self.do_search)
def place_widget(self):
self.l1.place(x=30,y=20)
self.e1.place(x=130,y=20)
self.b1.place(x=290,y=20)
self.lf.place(x=30,y=60,width=350,height=300)
self.l2.place(x=60,y=10)
self.e2.place(x=150,y=10)
self.l3.place(x=60,y=50)
self.e3.place(x=150,y=50)
self.l4.place(x=60,y=90)
self.e4.place(x=150,y=90)
self.l5.place(x=60,y=130)
self.e5.place(x=150,y=130)
self.l6.place(x=60,y=170)
self.e6.place(x=150,y=170)
self.l7.place(x=60,y=210)
self.e7.place(x=150,y=210)
def search_infos(self):
pn=self.e1.get()
#判斷輸入類型,必須為11位數(shù)字
if re.match('\d{11}',pn):
result=Get_Infos().get_infos(pn)
self.e2_var.set(pn)
self.e3_var.set(result['province'])
self.e4_var.set(result['city'])
self.e5_var.set(result['areacode'])
self.e6_var.set(result['zip'])
self.e7_var.set(result['company'])
else:
messagebox.showwarning('警告','輸入有誤,請(qǐng)檢查!')
#使用線程防止UI界面卡死
def thread_it(self,func,*args):
t=threading.Thread(target=func,args=args)
t.setDaemon(True)
t.start()
def escape(self,event):
self.root.destroy()
def do_search(self,event):
self.thread_it(self.search_infos())
if __name__ == '__main__':
a=App()
Get_Attr
import json
import requests
from urllib.parse import urlencode
class Get_Infos():
def __init__(self):
self.url='http://apis.juhe.cn/mobile/get?'
self.headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
def get_infos(self,phone_num):
params={
'phone':phone_num,
'key':'7a2b367a62fa24108b1f27ed4c84c97a',
'dtype':''
}
r=requests.get(self.url+urlencode(params),headers=self.headers)
_json=json.loads(r.text)
if _json.get('resultcode')=='200':
result=_json.get('result')
item={}
item['province']=result.get('province')
item['city']=result.get('city')
item['areacode']=result.get('areacode')
item['zip']=result.get('zip')
item['company']=result.get('company')
return item
else:
return False
原文鏈接:https://blog.csdn.net/weixin_43457027/article/details/128468098
相關(guān)推薦
- 2022-09-13 Android實(shí)現(xiàn)屏幕旋轉(zhuǎn)四個(gè)方向準(zhǔn)確監(jiān)聽_Android
- 2022-09-27 OpenCV中findContours函數(shù)參數(shù)詳解_C 語言
- 2022-11-09 CSS元素定位
- 2022-05-14 c++與python實(shí)現(xiàn)二分查找的原理及實(shí)現(xiàn)_C 語言
- 2022-09-06 python?numpy中array與pandas的DataFrame轉(zhuǎn)換方式_python
- 2023-02-06 shell腳本實(shí)戰(zhàn)之部署nginx腳本實(shí)例_nginx
- 2022-03-30 聊聊redis-dump工具安裝問題_Redis
- 2023-01-13 Qt中QList與QLinkedList類的常用方法總結(jié)_C 語言
- 最近更新
-
- window11 系統(tǒng)安裝 yarn
- 超詳細(xì)win安裝深度學(xué)習(xí)環(huán)境2025年最新版(
- Linux 中運(yùn)行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲(chǔ)小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎(chǔ)操作-- 運(yùn)算符,流程控制 Flo
- 1. Int 和Integer 的區(qū)別,Jav
- spring @retryable不生效的一種
- Spring Security之認(rèn)證信息的處理
- Spring Security之認(rèn)證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權(quán)
- redisson分布式鎖中waittime的設(shè)
- maven:解決release錯(cuò)誤:Artif
- restTemplate使用總結(jié)
- Spring Security之安全異常處理
- MybatisPlus優(yōu)雅實(shí)現(xiàn)加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務(wù)發(fā)現(xiàn)-Nac
- Spring Security之基于HttpR
- Redis 底層數(shù)據(jù)結(jié)構(gòu)-簡(jiǎn)單動(dòng)態(tài)字符串(SD
- arthas操作spring被代理目標(biāo)對(duì)象命令
- Spring中的單例模式應(yīng)用詳解
- 聊聊消息隊(duì)列,發(fā)送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠(yuǎn)程分支