Python Pandas - 稀疏数据

当任何与特定值（NaN/缺失值，尽管可以选择任何值）匹配的数据被省略时，稀疏对象会被“压缩”。一个特殊的 SparseIndex 对象跟踪数据在哪里被“稀疏化”。在一个例子中，这将更有意义。所有标准的 Pandas 数据结构都应用 to_sparse 方法 -

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

其 输出 如下 -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

稀疏对象出于内存效率的原因而存在。

现在让我们假设您有一个大型的 NA DataFrame 并执行以下代码 -

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print sdf.density

其 输出 如下 -

0.0001

任何稀疏对象都可以通过调用 to_dense 转换回标准的密集形式 -

import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

其 输出 如下 -

0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

稀疏数据类型

稀疏数据应与其密集表示具有相同的数据类型。目前，支持 float64、int64 和 bool 数据类型。根据原始 dtype，fill_value 默认值 会发生变化 -

• float64 - np.nan

• int64 - 0

• bool - False

让我们执行以下代码来理解相同的内容 -

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print s

s.to_sparse()
print s

其 输出 如下 -

0   1.0
1   NaN
2   NaN
dtype: float64

0   1.0
1   NaN
2   NaN
dtype: float64