当前位置:
首页 >
文本字符串中提取数据进行分析
发布时间:2023/12/19
41
豆豆
生活随笔
收集整理的这篇文章主要介绍了
文本字符串中提取数据进行分析
小编觉得挺不错的,现在分享给大家,帮大家做个参考.
需求
在进行数据分析的时候,有时候会碰到需要从文本字符串中提取需要的数据来进行分析的情况,这种需求在网络爬虫数据分析非常常见。
比如,需要下列表格“基础薪资规则”字段中提取阶梯单量和价格。而且表格中,大部分规则是4档单量和价格,也有部分是3档规则和价格。
格式为:
| 第1档单量 | 第2档单量 | 第3档单量 | 第4档单量 | 第1档价格 | 第2档价格 | 第3档价格 | 第4档价格 |
| 200 | 250 | 300 | 9999 | 3.8 | 4.8 | 5.0 | 5.2 |
| 200 | 250 | 300 | 9999 | 3.8 | 4.8 | 5.0 | 5.2 |
方法
使用Python中档re模块, 能够从一串有规律文本字符串中提取所需要档数据,配合正则表达式,功能非常强大。
# 提取特征数字,由于存在多个数字,findall()会返回一个列表 # 数据的pattern特征,注意到[0,200)单中需要提取数字200,前面是一个逗号,后面是一个括号+单,提取的内容放在()里,200后的括号,要识别“)”需要用到转义符号\ def find_orderNum(x):patt = ',(.*?)\)单' pattern = re.compile(patt)return pattern.findall(x) df['档位单量'] = df['基础薪资规则'].apply(find_orderNum)# 现有档位数 def find_step_num(x):return len(x) df['现档位数'] = df['档位价格'].apply(find_step_num)# 拆分阶梯单量 def find_orderNum1(x):return eval(x[0]) def find_orderNum2(x):return eval(x[1]) def find_orderNum3(x):return eval(x[2]) def find_orderNum4(x):if len(x)>3:return eval(x[3])else:return eval(x[2])df['现一档单量'] = df['档位单量'].apply(find_orderNum1) df['现二档单量'] = df['档位单量'].apply(find_orderNum2) df['现三档单量'] = df['档位单量'].apply(find_orderNum3) df['现四档单量'] = df['档位单量'].apply(find_orderNum4)结果如下:
创作挑战赛新人创作奖励来咯,坚持创作打卡瓜分现金大奖总结
以上是生活随笔为你收集整理的文本字符串中提取数据进行分析的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇: Python中都全局变量和局部变量
- 下一篇: Pandas数据分析常用数据操作(3年总