前言

很多情況下我們處理的文件并不只是一個單純的CSV文件或者Excel文件。我們會結合更多是數據去進行聚合統計分析，或許是需要解析到一整個數據存儲壓縮包，或許是對一整個目錄文件讀取再進行數據操作，這都需要我們掌握一定的多文件處理方法和策略。此篇文章正是基于此場景下處理多文件方法整合策略。

一、多文件場景

我們就以2020年CCF大數據與智能競賽的數據來作為實例來處理：

現在我們有這么文本文件需要進行讀取分析，按照往常我們一個一個讀取顯然費時費力。那么我們肯定想到了如果能夠一次讀取所有的文件名就可以循環遍歷讀取文件內容了，此時有兩種方法可以獲取到目錄下所有文件名稱：

方法一

第一種方法是引用OS庫中的walk方法，python中os.walk是一個簡單易用的文件、目錄遍歷器，可以幫助我們高效的處理文件、目錄方面的事情。其語法為：

os.walk(top, topdown=True, οnerrοr=None, followlinks=False)

參數說明：

• top 是你所要便利的目錄的地址
• topdown 為真，則優先遍歷top目錄，否則優先遍歷top的子目錄(默認為開啟)
• onerror 需要一個 callable 對象，當walk需要異常時，會調用
• followlinks 如果為真，則會遍歷目錄下的快捷方式(linux 下是 symbolic link)實際所指的目錄(默認關閉)

os.walk 的返回值是一個生成器(generator),也就是說我們需要不斷的遍歷它，來獲得所有的內容。

返回說明：

每次遍歷的對象都是返回的是一個三元組(root,dirs,files)

• root 所指的是當前正在遍歷的這個文件夾的本身的地址
• dirs 是一個 list ，內容是該文件夾中所有的目錄的名字(不包括子目錄)
• files 同樣是 list , 內容是該文件夾中所有的文件(不包括子目錄)

其中files就是我們該目錄下的所有文件名稱：

file_dir = "D:\\metric-traffic\\traffic\\"
for root, dirs, files in os.walk(file_dir):
    print(files)

將該目錄下所有的文件路徑可以這樣寫:

file_dir = "D:\\metric-traffic\\traffic\\"
for root, dirs, files in os.walk(file_dir):
    for name in files:
        print(os.path.join(root, name))	# 文件

方法二

方法一需要循環遍歷而且一次只能讀出一條完整路徑，可以通過list來保存單個路徑形成列表，但是多個循環遍歷效率較為低下。Python提供了glob庫，只要安裝python就可以使用該模塊。glob模塊主要用來查找和文件，可以使用 *、？、[] 這三種**通配符**對路徑中的文件進行匹配。

• *：代表0個或多個字符
• ?：代表一個字符
• []：匹配指定范圍內的字符，如[0-9]匹配數字

如果我們想要取得一個目錄下的所有文件名稱僅需要兩行代碼：

file_dir = "D:\\metric-traffic\\traffic\\"
glob.glob(file_dir+"*.txt")

二、多文件讀取

使用Pandas的讀取文件很方便，例如read_csv,read_json或者是read_sql都是十分簡單且高效的操作。循環處理的話遍歷讀取文件就好了，根據我們獲取到的目錄路徑：

file_dir = "D:\\metric-traffic\\traffic\\"
list_file=glob.glob(file_dir+"*.txt")
for i in range(len(list_file)):
    df=pd.read_csv(list_file[i])
    print(df)