在Python Pandas中，检查DataFrame是否具有一个(或多个)NaN值的最佳方法是什么？
我知道函数pd.isnan，但这会为每个元素返回一个布尔数据框架。 这篇文章也没有完全回答我的问题。
查看大熊猫中丢失数据计数的摘要
最新版本的pandas(v0.23.2)允许用户在没有任何调用(any().any())的情况下对两个轴执行逻辑缩减。 有关详情，请参阅此答案。
jwilner的回应是现货。我正在探索是否有更快的选择，因为根据我的经验，求平面阵列(奇怪地)比计数更快。这段代码似乎更快：
df.isnull().values.any()
例如：
In [2]: df = pd.DataFrame(np.random.randn(1000,1000))
In [3]: df[df > 0.9] = pd.np.nan
In [4]: %timeit df.isnull().any().any()
100 loops, best of 3: 14.7 ms per loop
In [5]: %timeit df.isnull().values.sum()
100 loops, best of 3: 2.15 ms per loop
In [6]: %timeit df.isnull().sum().sum()
100 loops, best of 3: 18 ms per loop
In [7]: %timeit df.isnull().values.any()
1000 loops, best of 3: 948 μs per loop
df.isnull().sum().sum()有点慢，但当然还有其他信息 - NaNs的数量。
感谢您抽出时间基准。令人惊讶的是pandas没有内置功能。从@JGreenwells的帖子中可以看出df.describe()可以做到这一点，但没有直接的功能。
我只是df.describe()(没有找到NaN s)。使用1000 x 1000阵列，单个呼叫需要1.15秒。
：1，此外，df.isnull().values.sum()比df.isnull().values.flatten().sum()快一点
啊，很好的捕获@JohnGalt - 我改变我的解决方案，删除.flatten()的postering。谢谢。
你没有尝试df.isnull().values.any()，对我来说它比其他人快。
我同意@ CK1。对我来说，df.isnull().values.any()比df.isnull().values.sum()(1.4毫秒)快两倍(0.7毫秒)
np.isnan(df.values).any()工作得快一点，但它对于对象dtype不起作用
df.shape[1] - df.dropna(axis = 1).shape[1]会快速确认在整个数据帧中有多少列具有空值
你有几个选择。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10,6))
# Make a few areas have NaN values
df.iloc[1:3,1] = np.nan
df.iloc[5,3] = np.nan
df.iloc[7:9,5] = np.nan
现在数据框看起来像这样：
0 1 2 3 4 5
0 0.520113 0.884000 1.260966 -0.236597 0.312972 -0.196281
1 -0.837552 NaN 0.143017 0.862355 0.346550 0.842952
2 -0.452595 NaN -0.420790 0.456215 1.203459 0.527425
3 0.317503 -0.917042 1.780938 -1.584102 0.432745 0.389797
4 -0.722852 1.704820 -0.113821 -1.466458 0.083002 0.011722
5 -0.622851 -0.251935 -1.498837 NaN 1.098323 0.273814
6 0.329585 0.075312 -0.690209 -3.807924 0.489317 -0.841368
7 -1.123433 -1.187496 1.868894 -2.046456 -0.949718 NaN
8 1.133880 -0.110447 0.050385 -1.158387 0.188222 NaN
9 -0.513741 1.196259 0.704537 0.982395 -0.585040 -1.693810
选项1：df.isnull().any().any() - 返回一个布尔值
你知道isnull()会返回一个像这样的数据帧：
0 1 2 3 4 5
0 False False False False False False
1 False True False False False False
2 False True False False False False
3 False False False False False False
4 False False False False False False
5 False False False True False False
6 False False False False False False
7 False False False False False True
8 False False False False False True
9 False False False False False False
如果你使它df.isnull().any()，你只能找到具有NaN值的列：
0 False
1 True
2 False
3 True
4 False
5 True
dtype: bool
还有一个.any()将告诉您上述任何一个是True
> df.isnull().any().any()
True
选项2：df.isnull().sum().sum() - 返回NaN值总数的整数：
这与.any().any()的操作方式相同，首先给出一列中NaN值的总和，然后是这些值的总和：
df.isnull().sum()
0 0
1 2
2 0
3 1
4 0
5 2
dtype: int64
最后，要获取DataFrame中NaN值的总数：
df.isnull().sum().sum()
5
要找出特定列中哪些行具有NaN：
nan_rows = df[df['name column'].isnull()]
要找出特定列中没有NaN的行：non_nan_rows = df[df[name column].notnull()]。
AttributeError：numpy.float64对象没有属性isnull
如果您需要知道"一个或多个NaN s"有多少行：
df.isnull().T.any().T.sum()
或者，如果您需要提取这些行并检查它们：
nan_rows = df[df.isnull().T.any().T]
我想我们不需要第二个T.
df.isnull().any().any()应该这样做。
添加到Hobs的精彩回答，我对Python和Pandas都很陌生，所以请指出我是不是错了。
要找出哪些行具有NaN：
nan_rows = df[df.isnull().any(1)]
通过将any()的轴指定为1来检查行中是否存在"True"，将执行相同的操作而无需转置。
这摆脱了两个转置！爱你的简洁any(axis=1)简化。
由于没有提到，只有另一个变量叫做hasnans。
如果pandas Series中的一个或多个值为NaN，df[i].hasnans将输出到True，如果不是，则输出False。请注意，它不是一个功能。
熊猫版'0.19.2'和'0.20.2'
这个答案是不正确的。 Pandas Series具有此属性，但DataFrames没有。如果df = DataFrame([1,None], columns=[foo])，则df.hasnans将抛出AttributeError，但df.foo.hasnans将返回True。
由于pandas必须为DataFrame.dropna()找到它，我看了看它们是如何实现它的，并发现它们使用了DataFrame.count()，它计算了DataFrame中的所有非空值。参看熊猫源代码。我没有对这种技术进行基准测试，但我认为图书馆的作者可能已经做了明智的选择。
超级简单语法：df.isna().any(axis=None)
从v0.23.2开始，您可以使用DataFrame.isna + DataFrame.any(axis=None)，其中axis=None指定整个DataFrame的逻辑缩减。
# Setup
df = pd.DataFrame({'A': [1, 2, np.nan], 'B' : [np.nan, 4, 5]})
df
A B
0 1.0 NaN
1 2.0 4.0
2 NaN 5.0
df.isna()
A B
0 False True
1 False False
2 True False
df.isna().any(axis=None)
# True
有用的替代品
numpy.isnan
如果你正在运行旧版本的熊猫，那么另一个高性能选项。
np.isnan(df.values)
array([[False, True],
[False, False],
[ True, False]])
np.isnan(df.values).any()
# True
或者，检查总和：
np.isnan(df.values).sum()
# 2
np.isnan(df.values).sum() > 0
# True
Series.hasnans
您也可以迭代调用Series.hasnans。例如，要检查单个列是否具有NaN，
df['A'].hasnans
# True
要检查是否有任何列具有NaN，您可以使用any(这是一种短路操作)的理解。
any(df[c].hasnans for c in df)
# True
这实际上非常快。
只是用
math.isnan(x)，如果x是NaN(不是数字)，则返回True，否则返回False。
当x是一个DataFrame时，我不认为math.isnan(x)会起作用。你会得到一个TypeError。
这是另一种有趣的方法，即找到null并用计算值替换
#Creating the DataFrame
testdf = pd.DataFrame({'Tenure':[1,2,3,4,5],'Monthly':[10,20,30,40,50],'Yearly':[10,40,np.nan,np.nan,250]})
>>> testdf2
Monthly Tenure Yearly
0 10 1 10.0
1 20 2 40.0
2 30 3 NaN
3 40 4 NaN
4 50 5 250.0
#Identifying the rows with empty columns
nan_rows = testdf2[testdf2['Yearly'].isnull()]
>>> nan_rows
Monthly Tenure Yearly
2 30 3 NaN
3 40 4 NaN
#Getting the rows# into a list
>>> index = list(nan_rows.index)
>>> index
[2, 3]
# Replacing null values with calculated value
>>> for i in index:
testdf2['Yearly'][i] = testdf2['Monthly'][i] * testdf2['Tenure'][i]
>>> testdf2
Monthly Tenure Yearly
0 10 1 10.0
1 20 2 40.0
2 30 3 90.0
3 40 4 160.0
4 50 5 250.0
我一直在使用以下内容并将其类型转换为字符串并检查nan值
(str(df.at[index, 'column']) == 'nan')
这允许我检查一系列中的特定值，而不仅仅是在系列中某处包含它时返回。
import missingno as msno
msno.matrix(df) # just to visualize. no missing value.
df.apply(axis=0, func=lambda x : any(pd.isnull(x)))
如果每个列包含Nan，则检查每个列。
最好的方法是使用：
df.isna().any().any()
这就是原因。 所以isna()用于定义isnull()，但这两者当然是相同的。
这甚至比接受的答案更快，涵盖了所有2D熊猫阵列。
df.isnull()。总和()
这将为您计算DataFrame中的所有NaN值
let df是Pandas DataFrame的名称，任何numpy.nan的值都是空值。
如果你想看哪些列有空值而哪些列没有(只有True和False)
df.isnull().any()
如果您只想查看具有空值的列
df.loc[:, df.isnull().any()].columns
如果要查看列中的空值计数
<5233>
如果要查看列中空值的百分比
df.loc[:,list(df.loc[:,df.isnull().any()].columns)].isnull().sum()/(len(df))*100
编辑1：
如果您想要直观地查看数据丢失的位置：
import missingno
missingdata_df = df.columns[df.isnull().any()].tolist()
missingno.matrix(df[missingdata_df])
或者您可以在DF上使用.info()，例如：
df.info(null_counts=True)，返回列中的non_null行数，例如：
Int64Index: 3276314 entries, 0 to 3276313
Data columns (total 10 columns):
n_matches 3276314 non-null int64
avg_pic_distance 3276314 non-null float64
根据您正在处理的数据类型，您还可以通过将dropna设置为False来获取执行EDA时每列的值计数。
for col in df:
print df[col].value_counts(dropna=False)
适用于分类变量，而不是在有许多唯一值时。
我认为这是低效的。大熊猫的内置功能更整洁/简洁。避免ipython笔记本的混乱。