Data.table と r のデータ フレーム: 3 つの主な違い
R プログラミング言語では、 data.frame はR データベースの一部です。
data.tableパッケージのsetDF関数を使用して、任意のdata.frameをdata.tableに変換できます。
data.table には、R の data.frame に比べて次の利点があります。
1. data.table パッケージのfread関数を使用すると、ファイルを data.frame に読み取るread.csvなどの基本的な R 関数よりもはるかに高速にファイルを data.table に読み取ることができます。
2. data.table では、data.frame よりもはるかに高速に操作 (グループ化や集計など) を実行できます。
3. data.frame をコンソールに出力するとき、R は data.frame 内の各行を出力しようとします。ただし、data.table には最初の 100 行しか表示されないため、大規模なデータセットを操作している場合にセッションがハングしたりクラッシュしたりすることがなくなる可能性があります。
次の例は、実際の data.frames と data.tables の違いを示しています。
違い #1: fread を使用したインポートの高速化
次のコードは、data.table パッケージのfread関数と R データベースのread.csv関数を使用して、10,000 行と 100 列のデータ フレームをインポートする方法を示しています。
library (microbenchmark) library (data.table) #make this example reproducible set. seeds (1) #create data frame with 10,000 rows and 100 columns df <- as. data . frame (matrix(runif(10^4 * 100), nrow = 10^4)) #export CSV to current working directory write.write. csv (df, " test.csv ", quote = FALSE ) #import CSV file using fread and read.csv and time how long it takes results <- microbenchmark( read.csv = read. csv (" test.csv ", header = TRUE , stringsAsFactors = FALSE ), fread = fread(" test.csv ", sep = ",", stringsAsFactors = FALSE ), times = 10) #view results results Unit: milliseconds expr min lq mean median uq max neval cld read.csv 817.1867 892.8748 1026.7071 899.5755 926.9120 1964.0540 10 b fread 113.5889 116.2735 136.4079 124.3816 136.0534 211.7484 10 a
結果から、 fread はread.csv関数と比較して、この CSV ファイルのインポートが約 10 倍高速であることがわかります。
データセットが大きい場合、この違いはさらに大きくなることに注意してください。
違い #2: data.table を使用した高速なデータ操作
一般に、 data.table は、 data.frameよりもはるかに高速にあらゆるデータ操作タスクを実行することもできます。
たとえば、次のコードは、data.table と data.frame の両方で別の変数によってグループ化された変数の平均を計算する方法を示しています。
library (microbenchmark)
library (data.table)
#make this example reproducible
set.seed(1)
#create data frame with 10,000 rows and 100 columns
d_frame <- data. frame (team=rep(c(' A ', ' B '), each=5000),
points=c(rnorm(10000, mean=20, sd=3)))
#create data.table from data.frame
d_table <- setDT(d_frame)
#calculate mean of points grouped by team in data.frame and data.table
results <- microbenchmark(
mean_d_frame = aggregate(d_frame$points, list(d_frame$team), FUN=mean),
mean_d_table = d_table[ ,list(mean=mean(points)), by=team],
times = 10)
#view results
results
Unit: milliseconds
expr min lq mean median uq max neval cld
mean_d_frame 2.9045 3.0077 3.11683 3.1074 3.1654 3.4824 10 b
mean_d_table 1.0539 1.1140 1.52002 1.2075 1.2786 3.6084 10 a
結果から、 data.table はdata.frameよりも約 3 倍高速であることがわかります。
データセットが大きい場合、この差はさらに大きくなります。
違い #3: data.table で印刷される行が少なくなる
data.frame をコンソールに出力するとき、R は data.frame 内の各行を出力しようとします。
ただし、 data.table には最初の 100 行しか表示されないため、大規模なデータセットを操作している場合にセッションがハングしたりクラッシュしたりすることがなくなる可能性があります。
たとえば、次のコードでは、データ フレームと 200 行の data.table の両方を作成します。
data.frame を印刷するとき、R は各行の印刷を試みますが、data.table は最初の 5 行と最後の 5 行のみを表示します。
library (data.table) #make this example reproducible set. seeds (1) #create data frame d_frame <- data. frame (x=rnorm(200), y=rnorm(200), z=rnorm(200)) #view data frame d_frame X Y Z 1 -0.055303118 1.54858564 -2.065337e-02 2 0.354143920 0.36706204 -3.743962e-01 3 -0.999823809 -1.57842544 4.392027e-01 4 2.586214840 0.17383147 -2.081125e+00 5 -1.917692199 -2.11487401 4.073522e-01 6 0.039614766 2.21644236 1.869164e+00 7 -1.942259548 0.81566443 4.740712e-01 8 -0.424913746 1.01081030 4.996065e-01 9 -1.753210825 -0.98893038 -6.290307e-01 10 0.232382655 -1.25229873 -1.324883e+00 11 0.027278832 0.44209325 -3.221920e-01 ... #create data table d_table <- setDT(d_frame) #view data table d_table X Y Z 1: -0.05530312 1.54858564 -0.02065337 2: 0.35414392 0.36706204 -0.37439617 3: -0.99982381 -1.57842544 0.43920275 4: 2.58621484 0.17383147 -2.08112491 5: -1.91769220 -2.11487401 0.40735218 --- 196: -0.06196178 1.08164065 0.58609090 197: 0.34160667 -0.01886703 1.61296255 198: -0.38361957 -0.03890329 0.71377217 199: -0.80719743 -0.89674205 -0.49615702 200: -0.26502679 -0.15887435 -1.73781026
これは、特に誤ってコンソールに出力したくない大規模なデータ セットを扱う場合に、 data.table がdata.frameに比べて提供する利点です。
追加リソース
次のチュートリアルでは、R で他の一般的なタスクを実行する方法について説明します。