日本免费高清视频-国产福利视频导航-黄色在线播放国产-天天操天天操天天操天天操|www.shdianci.com

學無先后，達者為師

網站首頁 編程語言 正文

如何使用pandas對超大csv文件進行快速拆分詳解_python

作者：coder1479 ? 更新時間： 2022-08-26 編程語言

前言

本文介紹如何利用pandas對超大CSV文件進行快速拆分。

1. 操作步驟

1.1 安裝pandas

pip install pandas

1.2 拆分大文件

import pandas as pd

# 讀取csv文件
df = pd.read_csv("../super_big.csv")

# 獲取文件總行數
row_num = len(df)

# 確定每個小文件要包含的數據量
step = 400

for start in range(0, row_num, step):
    stop = start + step
    filename = "./small_{}-{}.csv".format(start, stop)
    d = df[start: stop]
    print("Saving file : " + filename + ", data size : " + str(len(d)))
    d.to_csv(fname, index=None)

# 輸出如下
# Saving file : ./small_0-500.csv, data size : 500
# Saving file : ./small_500-1000.csv, data size : 500

代碼就這么簡單。

2. 再多了解一點兒

2.1 pandas讀取csv文件后，返回的是什么類型？

import pandas
df = pandas.read_csv('./super_big.csv')
type(df)

<class 'pandas.core.frame.DataFrame'>

2.2 如何從DataFrame中讀取某一行呢？

# 返回第一行
print(df.loc[0])
# 返回第二行
print(df.loc[1])

2.3 如何從DataFrame讀取多行呢?

 d = df[start: stop]

2.4 如何從DataFrame中讀取某一列呢？

data = {
    "name": ["peter", "rose", "joe"],
    "career": ["teacher", "engineer", "doctor"]
}

df = pd.DataFrame(data)
print(df["name"])

#0    peter
#1     rose
#2      joe
#Name: name, dtype: object

2.5 如何用pandas讀寫CSV文件？

df = pd.read_csv("YOUT_CSV_FILE.csv")

df.to_csv(fname, index=None)

注意：index默認是True，意思是保存行索引，這時候需要一個例子。

data = {
    "name": ["peter", "rose", "joe"],
    "career": ["teacher", "engineer", "doctor"]
}

df = pd.DataFrame(data)
df.to_csv("a.csv")

# 文件內容如下，注意每行的開頭自動添加了行索引，從0開始遞增
,name,career
0,peter,teacher
1,rose,engineer
2,joe,doctor

2.6 關于pandas

pandas是一款快速、強大、靈活且易于使用的開源數據分析和操作工具，建立在Python編程語言之上。用了都說好。

3. 小結

其實pandas處理csv文件的方法還有很多，功能非常強大，僅僅是數據切分，就有很多方法，有需要的時候，可以去看看文檔。

原文鏈接：https://blog.csdn.net/m0_48742971/article/details/123693834

欄目分類
最近更新