Pandas稀疏數(shù)據(jù)

當(dāng)任何匹配特定值的數(shù)據(jù)(NaN/缺失值，盡管可以選擇任何值)被省略時(shí)，稀疏對(duì)象被“壓縮”。 一個(gè)特殊的SparseIndex對(duì)象跟蹤數(shù)據(jù)被“稀疏”的地方。 這將在一個(gè)例子中更有意義。 所有的標(biāo)準(zhǔn)Pandas數(shù)據(jù)結(jié)構(gòu)都應(yīng)用了to_sparse方法 -

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print (sts)

執(zhí)行上面示例代碼，得到以下結(jié)果 -

0   -0.391926
1   -1.774880
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.642988
9   -0.373698
dtype: float64
BlockIndex
Block locations: array([0, 8])
Block lengths: array([2, 2])

為了內(nèi)存效率的原因，所以需要稀疏對(duì)象的存在。

現(xiàn)在假設(shè)有一個(gè)大的NA DataFrame并執(zhí)行下面的代碼 -

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print (sdf.density)

執(zhí)行上面示例代碼，得到以下結(jié)果 -

0.0001

通過(guò)調(diào)用to_dense可以將任何稀疏對(duì)象轉(zhuǎn)換回標(biāo)準(zhǔn)密集形式 -

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print (sts.to_dense())

執(zhí)行上面示例代碼，得到以下結(jié)果 -

0   -0.275846
1    1.172722
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8   -0.612009
9   -1.413996
dtype: float64

稀疏Dtypes

稀疏數(shù)據(jù)應(yīng)該具有與其密集表示相同的dtype。 目前，支持float64，int64和booldtypes。 取決于原始的dtype，fill_value默認(rèn)值的更改 -

• float64 ? np.nan
• int64 ? 0
• bool ? False

執(zhí)行下面的代碼來(lái)理解相同的內(nèi)容 -

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print (s)
print ("=============================")
s.to_sparse()
print (s)

執(zhí)行上面示例代碼，得到以下結(jié)果 -

0    1.0
1    NaN
2    NaN
dtype: float64
=============================
0    1.0
1    NaN
2    NaN
dtype: float64