巨大なCSVファイルを開く色々な方法

はじめに

Pythonで巨大なCSVファイルを作成する方法を前回紹介しました。

Pythonで中身のある巨大なCSVファイルを作成する - Qiita

はじめに Pythonで中身のある巨大なCSVファイルを作成する方法を紹介します。 ただし、この方法は作成するのに割と時間かかります。 もっといい方法があると思いますが、ご了承ください。 単純に中身のないモックデータを作成したいのであれば、こちらの記事で紹介した方法がおす...

https://qiita.com/EveSquare/items/67552dbccb3a7c326703

今回は、巨大なCSVファイルを読み込む方法を紹介します。 FinderのクイックルックやVSCodeのプレビュー機能では、巨大なCSVファイルを開くことができません。 その場合は、以下の方法を試してください。

先頭から数行だけ読み込む

1. headコマンドを使用する

headコマンドは、ファイルの先頭部分を表示するためのコマンドです。数行だけ見たい場合にはこれが便利です。

head -n 10 <CSVファイル名>.csv

このコマンドは、先頭10行を表示します。

2. lessコマンドを使用する

lessコマンドは、ファイルの内容をページ単位で閲覧するためのコマンドです。大きなファイルでも快適に閲覧できます。

less <CSVファイル名>.csv

qキーを押すと、lessから抜けることができます。

3. Pythonを使用する

Pythonを使用してCSVファイルを開くこともできます。以下はPythonスクリプトの例です。

import pandas as pd

# CSVファイルの最初の数行を読み込む
df = pd.read_csv('<CSVファイル名>.csv', nrows=10)
print(df)

このスクリプトは、<CSVファイル名>.csvの先頭10行を読み込み、それを表示します。Pythonスクリプトを実行するには、ターミナルで以下のコマンドを使用します。

python main.py

特定の行を読み込む

特定の行を見る方法について説明します。以下に、特定の行を表示するためのいくつかの方法を紹介します。

1. sedコマンドを使用する

sedコマンドを使って、特定の行を表示できます。例えば、10行目を表示する場合は以下のようにします。

sed -n '10p' <CSVファイル名>.csv

複数の特定の行を表示するには、カンマで範囲を指定します。例えば、10行目から20行目を表示する場合は以下のようにします。

sed -n '10,20p' <CSVファイル名>.csv

2. awkコマンドを使用する

awkコマンドを使って、特定の行を表示することもできます。例えば、10行目を表示する場合は以下のようにします。

awk 'NR==10' <CSVファイル名>.csv

10行目から20行目を表示する場合は以下のようにします。

awk 'NR>=10 && NR<=20' <CSVファイル名>.csv

4. Pythonを使用する

Pythonを使用して、特定の行を表示することもできます。以下に例を示します。

import pandas as pd

line_number = 10
df = pd.read_csv('<CSVファイル名>.csv', skiprows=line_number - 1, nrows=1)
print(df)

このスクリプトは、10行目を読み込み、それを表示します。

さいごに

利用用途に合わせて利用してみてください