「Python｜Pandas｜场景案例」如何只保留DataFrame数据集的某些列（要保留的列不固定）

Table of Contents

场景说明

在数据处理的时候，可能会遇到数据集包含的数据字段并不是全部会用到，甚至有些用不到的字段内容较多，在存储上会占用较多空间，在读取和使用上可能会影响性能，所以需要考虑丢弃用不到的字段，仅保留需要使用的字段。 同时，我们可能遇到一些稍微复杂一点的场景，比如：

  • 你想写一套通用程序来处理不同数据集。这些数据集对应相同类型但是不同场景，所以要使用的字段可能是作为变量传入的
  • 你使用的数据集因为业务发生变化或者扩展到多个业务场景，不同场景使用同一个数据集，但使用到的字段集合不同
  • 你使用的数据集来自爬虫，爬取的数据源网站会不断改版，能获取的到的数据字段可能发生变化

这就要求能够使用变量存储要使用的字段，同时数据集中的字段就算没有包含全部指定字段，也不能抛出KeyError之类的处理错误。

解决方案

基本使用

假设我们的数据集有四列，分别是col_1, col_2, col_3, col_4 python数据分析的预处理过程中常用的是pandas库，pandas库中对这种保留指定列/丢弃指定列有对应的写法和函数：

  • 只保留两列 col_1 和 col_2 df = df[['col_1', 'col_2']]
  • 丢弃col_3这一列 df = df.drop(['col_3', 'col_4'], axis=1)

加入变量

用变量把字段集合存储起来就可以改成：

1fileds_to_use = ['col_1', 'col_2']
2
3# 只保留两列 `col_1` 和 `col_2` 
4df = df[ fileds_to_use ]
5
6# 丢弃`col_3`这一列
7fields_to_drop = set(df.columns) - set(fileds_to_use)
8df = df.drop(fields_to_drop, axis=1)

考虑数据集没有包含全部目标字段的情况

如果我们的数据集字段只有col_1, col_3, col_4三列，我们要使用的还是col_1, col_2两列，那么：

  • 尝试drop用不到的col_3和col_4不会出错
  • 但是尝试用df[ fileds_to_use ]会因为数据集里没有col_2而抛出KeyError: "['col_2'] not in index"的错误

解决这个问题本质上就是加一层检查，只有字段在数据集包含的列名中，才进行保留，可以自己写，也可以调用pandas的函数，如下：

1# 自己写一个过滤
2fileds_to_use  = ['col_1', 'col_2']
3fileds_set = set(fileds_to_use)
4column_to_use = [column for column in df.columns if column in fileds_set]
5df = df[ column_to_use ]
6
7# 调用 pandas 的函数
8column_to_use = df.columns[ df.columns.isin(fileds_to_use) ]
9df = df[ column_to_use  ]
10
11# 因为 pandas 还有取反操作，所以额外说一下drop可以有下面这种写法
12column_to_drop = df.columns[ ~df.columns.isin(fileds_to_use) ]
13df = df.drop(column_to_drop, axis=1)

以上就是根据变量值保留数据集某些列的做法，挑选一种自己喜欢的写法即可。

好书推荐：

好课推荐：

写文不易，如果对你有帮助的话，来一波点赞、收藏、关注吧~👇

Mastodon