Python Pandas - 稀疏資料

當任何與特定值（NaN/缺失值，儘管可以選擇任何值）匹配的資料被省略時，稀疏物件會被“壓縮”。一個特殊的 SparseIndex 物件跟蹤資料在哪裡被“稀疏化”。在一個例子中，這將更有意義。所有標準的 Pandas 資料結構都應用 to_sparse 方法 -

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

其 輸出 如下 -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

稀疏物件出於記憶體效率的原因而存在。

現在讓我們假設您有一個大型的 NA DataFrame 並執行以下程式碼 -

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print sdf.density

其 輸出 如下 -

0.0001

任何稀疏物件都可以透過呼叫 to_dense 轉換回標準的密集形式 -

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

其 輸出 如下 -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

稀疏資料型別

稀疏資料應與其密集表示具有相同的資料型別。目前，支援 float64、int64 和 bool 資料型別。根據原始 dtype，fill_value 預設值 會發生變化 -

• float64 - np.nan

• int64 - 0

• bool - False

讓我們執行以下程式碼來理解相同的內容 -

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print s

s.to_sparse()
print s

其 輸出 如下 -

0   1.0
1   NaN
2   NaN
dtype: float64

0   1.0
1   NaN
2   NaN
dtype: float64