網站首頁 編程語言 正文
使用場景
對手機號碼進行地域分析,需要查詢歸屬地;
問題描述
針對數據集比較大的情況,通過腳本來處理,使用多線程的方法來加快查詢速度
pool = multiprocessing.Pool(processes=pool_count)
for i in data_cut(data,pool_count):
data_log_list.append(pool.apply_async(main, (i,)))
pool.close()
pool.join()
解決方案
創建一個 pool 進程池,然后通過data_cut將數據讀取并且等分成數據組,設置好pool_count進程數量就可以開始,每個數據組獨立查詢然后將結果匯總給push_log進行最終處理,保存為csv文件。
# 電話號碼歸屬地查詢
import os
import sys
import time
import json
import warnings
import pandas as pd
import multiprocessing
from phone import Phone
warnings.filterwarnings("ignore")
path = os.path.abspath(".")
def data_cut(data_list,data_cut=4):
#將任務拆分,建議拆分數為CPU核心數,默認為4
#分組數據,分組間隔
data_all=[]
if data_cut > len(data_list):
data_cut = len(data_list)
data_cut_num = int((len(data_list)+1)/data_cut)
for i in range(1,data_cut+1):
if i < data_cut:
data_1=data_list[data_cut_num*(i-1):data_cut_num*i]
else:
data_1=data_list[data_cut_num*(i-1):]
data_all.append(data_1)
return data_all
def push_log(data_log_list,file_name):
data_all = []
data_list = [i.get() for i in data_log_list]
for i in data_list:
for j in i:
data_all.append(j)
data_all = pd.DataFrame(data_all)
data_all.to_csv(path + "/phone_{}.csv".format(file_name),index=False,encoding='gbk')
print('成功查詢:',data_all.shape[0])
def main(data):
resp = []
for i in data:
try:
if type(Phone().find(i)) == dict:
resp.append(Phone().find(i))
except:
pass
return resp
if __name__ == '__main__':
start_time= time.time()
file_name = name = sys.argv[1]
data = pd.read_table(path + "/{}".format(file_name),header=None)
data=list(data[0])
pool_count = 12
data_log_list = []
pool = multiprocessing.Pool(processes=pool_count)
for i in data_cut(data,pool_count):
data_log_list.append(pool.apply_async(main, (i,)))
pool.close()
pool.join()
push_log(data_log_list,file_name)
print(time.time()-start_time)
方法補充
除了上文的方法,小編還為大家整理了一些其他Python號碼歸屬地查詢的方法,需要的可以參考一下
方法一:
import requests
def get_callerloc(phone):
url = f"https://www.qvdv.com/tools/qvdv-api-mobile.html?f=json&mobile={phone}"
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.75 Safari/537.36',
}
response = requests.request("GET", url, headers=headers).json()
return response["message"]
if __name__ == '__main__':
phone = input("請輸入手機號(查詢歸屬地):")
res = get_callerloc(phone)
print("手機號碼:"+res["mobile"])
print("歸屬地:"+res["province"])
print("運營商:"+res["supplier"])
截圖
方法二
GUI
from tkinter import *
from tkinter import ttk
from tkinter import messagebox
from Get_Attr import Get_Infos
import re
import threading
class App:
def __init__(self):
self.root=Tk()
self.root.title('手機號碼歸屬地查詢-v1.0')
self.root.resizable(0,0)
width=410
height=390
left=(self.root.winfo_screenwidth()-width)/2
top=(self.root.winfo_screenheight()-height)/2
self.root.geometry('%dx%d+%d+%d'%(width,height,left,top))
self.create_widet()
self.set_widget()
self.place_widget()
self.root.mainloop()
def create_widet(self):
self.l1=ttk.Label(self.root)
self.e1=ttk.Entry(self.root)
self.b1=ttk.Button(self.root)
self.lf=ttk.LabelFrame(self.root)
self.l2=ttk.Label(self.lf)
self.e2=ttk.Entry(self.lf)
self.l3=ttk.Label(self.lf)
self.e3=ttk.Entry(self.lf)
self.l4=ttk.Label(self.lf)
self.e4=ttk.Entry(self.lf)
self.l5=ttk.Label(self.lf)
self.e5=ttk.Entry(self.lf)
self.l6=ttk.Label(self.lf)
self.e6=ttk.Entry(self.lf)
self.l7=ttk.Label(self.lf)
self.e7=ttk.Entry(self.lf)
self.b1.config(command=lambda:self.thread_it(self.search_infos))
def set_widget(self):
self.e2_var=StringVar()
self.e3_var=StringVar()
self.e4_var=StringVar()
self.e5_var=StringVar()
self.e6_var=StringVar()
self.e7_var=StringVar()
self.l1.config(text='請輸入手機號:')
self.b1.config(text='查詢')
self.lf.config(text='查詢結果')
self.l2.config(text='手機號碼:')
self.l3.config(text='所屬省份:')
self.l4.config(text='所屬城市:')
self.l5.config(text='區 號:')
self.l6.config(text='郵 編:')
self.l7.config(text='類 型:')
#將字符串變量綁定Entry組件
self.e2.config(textvariable=self.e2_var)
self.e3.config(textvariable=self.e3_var)
self.e4.config(textvariable=self.e4_var)
self.e5.config(textvariable=self.e5_var)
self.e6.config(textvariable=self.e6_var)
self.e7.config(textvariable=self.e7_var)
self.root.bind('<Escape>',self.escape)
self.root.bind('<Return>',self.do_search)
def place_widget(self):
self.l1.place(x=30,y=20)
self.e1.place(x=130,y=20)
self.b1.place(x=290,y=20)
self.lf.place(x=30,y=60,width=350,height=300)
self.l2.place(x=60,y=10)
self.e2.place(x=150,y=10)
self.l3.place(x=60,y=50)
self.e3.place(x=150,y=50)
self.l4.place(x=60,y=90)
self.e4.place(x=150,y=90)
self.l5.place(x=60,y=130)
self.e5.place(x=150,y=130)
self.l6.place(x=60,y=170)
self.e6.place(x=150,y=170)
self.l7.place(x=60,y=210)
self.e7.place(x=150,y=210)
def search_infos(self):
pn=self.e1.get()
#判斷輸入類型,必須為11位數字
if re.match('\d{11}',pn):
result=Get_Infos().get_infos(pn)
self.e2_var.set(pn)
self.e3_var.set(result['province'])
self.e4_var.set(result['city'])
self.e5_var.set(result['areacode'])
self.e6_var.set(result['zip'])
self.e7_var.set(result['company'])
else:
messagebox.showwarning('警告','輸入有誤,請檢查!')
#使用線程防止UI界面卡死
def thread_it(self,func,*args):
t=threading.Thread(target=func,args=args)
t.setDaemon(True)
t.start()
def escape(self,event):
self.root.destroy()
def do_search(self,event):
self.thread_it(self.search_infos())
if __name__ == '__main__':
a=App()
Get_Attr
import json
import requests
from urllib.parse import urlencode
class Get_Infos():
def __init__(self):
self.url='http://apis.juhe.cn/mobile/get?'
self.headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
def get_infos(self,phone_num):
params={
'phone':phone_num,
'key':'7a2b367a62fa24108b1f27ed4c84c97a',
'dtype':''
}
r=requests.get(self.url+urlencode(params),headers=self.headers)
_json=json.loads(r.text)
if _json.get('resultcode')=='200':
result=_json.get('result')
item={}
item['province']=result.get('province')
item['city']=result.get('city')
item['areacode']=result.get('areacode')
item['zip']=result.get('zip')
item['company']=result.get('company')
return item
else:
return False
原文鏈接:https://blog.csdn.net/weixin_43457027/article/details/128468098
相關推薦
- 2023-01-30 django中只使用ModleForm的表單驗證_python
- 2022-07-14 Python內建類型list源碼學習_python
- 2022-07-06 Flutter?DateTime日期轉換的詳細使用_Android
- 2022-04-15 Android一個類實現錄音與播放實例_Android
- 2022-03-26 C++約瑟夫環問題詳解_C 語言
- 2022-09-14 R語言ggplot2圖例標簽、標題、順序修改和刪除操作實例_R語言
- 2022-12-01 sqlserver數據庫導入方法的詳細圖文教程_MsSql
- 2022-07-26 pyspark中udf寫法及其使用
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版(
- Linux 中運行的top命令 怎么退出?
- MySQL 中decimal 的用法? 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符,流程控制 Flo
- 1. Int 和Integer 的區別,Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤:Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密?
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串(SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列,發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支