python字符串替换空格_python - 用pandas中的NaN替换空白值（空格）

python - 用pandas中的NaN替换空白值（空格）

我想在Pandas数据帧中找到包含空格（任意数量）的所有值，并用NaN替换这些值。

有什么想法可以改进吗？

基本上我想转此：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz

2000-01-05 -0.222552 4

2000-01-06 -1.176781 qux

进入这个：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz NaN

2000-01-05 -0.222552 NaN 4

2000-01-06 -1.176781 qux NaN

我已经设法用下面的代码来做，但是男人是丑陋的。 它不是Pythonic，我敢肯定它也不是最有效的熊猫用途。 我循环遍历每一列并对通过应用对每个值进行正则表达式搜索的函数生成的列掩码进行布尔替换，并在空格上进行匹配。

for i in df.columns:

df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

只需迭代可能包含空字符串的字段，就可以对其进行优化：

if df[i].dtype == np.dtype('object')

但这并没有太大的改善

最后，这段代码将目标字符串设置为None，它与Pandas的函数一样工作，如fillna()，但如果我能直接插入NaN而不是None，那么它的完整性会很好。

10个解决方案

121 votes

我认为df.replace(r'^\s+$', np.nan, regex=True)可以胜任：

df = pd.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'foo', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ' '],

], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

print df.replace(r'\s+', np.nan, regex=True)

生产：

A B C

2000-01-01 -0.532681 foo 0

2000-01-02 1.490752 bar 1

2000-01-03 -1.387326 foo 2

2000-01-04 0.814772 baz NaN

2000-01-05 -0.222552 NaN 4

2000-01-06 -1.176781 qux NaN

正如Temak指出的那样，如果您的有效数据包含空格，请使用df.replace(r'^\s+$', np.nan, regex=True)。

patricksurry answered 2019-07-21T20:21:54Z

30 votes

怎么样：

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

applymap函数将函数应用于数据帧的每个单元格。

BrenBarn answered 2019-07-21T20:22:20Z

29 votes

如果你想用空格替换一个空字符串和记录，那么正确的答案就是！：

df = df.replace(r'^\s*$', np.nan, regex=True)

接受的答案

df.replace(r'\s+', np.nan, regex=True)

不替换空字符串！，您可以尝试使用稍微更新的给定示例：

df = pd.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'fo o', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ''],

], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))

注意，'fo o'也没有被Nan替换，尽管它包含一个空格。进一步说明，这很简单：

df.replace(r'', np.NaN)

也不起作用 - 尝试一下。

Philipp Schwarz answered 2019-07-21T20:23:11Z

12 votes

我会这样做的：

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

要么

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

您可以删除所有字符串，然后用np.nan替换空字符串。

Xiaorong Liao answered 2019-07-21T20:23:44Z

4 votes

最简单的解决方案：

df = df.replace(r'^\s+$', np.nan, regex=True)

Gil Baggio answered 2019-07-21T20:24:04Z

2 votes

如果要从CSV文件导出数据，可以这样简单：

df = pd.read_csv(file_csv, na_values=' ')

这将创建数据框以及将空值替换为Na

ibrahim rupawala answered 2019-07-21T20:24:35Z

0 votes

对于一个非常快速和简单的解决方案，您可以检查单个值的相等性，您可以使用mask方法。

df.mask(df == ' ')

Ted Petrou answered 2019-07-21T20:25:00Z

0 votes

你也可以使用过滤器来做到这一点。

df = PD.DataFrame([

[-0.532681, 'foo', 0],

[1.490752, 'bar', 1],

[-1.387326, 'foo', 2],

[0.814772, 'baz', ' '],

[-0.222552, ' ', 4],

[-1.176781, 'qux', ' '])

df[df=='']='nan'

df=df.astype(float)

ERIC answered 2019-07-21T20:25:25Z

0 votes

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

Jayantha answered 2019-07-21T20:25:43Z

0 votes

这不是一个优雅的解决方案，但似乎有效的是保存到XLSX然后再导回它。 此页面上的其他解决方案对我不起作用，不确定原因。

data.to_excel(filepath, index=False)

data = pd.read_excel(filepath)

David Kong answered 2019-07-21T20:26:09Z

总结

以上是生活随笔为你收集整理的python字符串替换空格_python - 用pandas中的NaN替换空白值（空格）的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。