岗位职责:1、负责基于Python开发、维护网络爬虫程序,完成多渠道公开数据的合规采集、抓取、更新与迭代,保障数据采集稳定、高效、不间断运行;
2、对原始采集数据进行清洗、去重、规整、分类、结构化处理,修复脏数据、缺失数据,输出标准化可用数据集;
3、熟悉常见反爬机制,可独立解决IP限制、动态加载、验证码、接口加密等各类反爬问题,优化爬虫策略与抓取效率;
4、负责数据入库、整理、统计汇总,按需输出数据报表、分析台账,支撑部门业务分析、项目咨询、数据复盘工作;
5、负责爬虫脚本日常运维、BUG修复、版本优化,持续提升采集稳定性、并发能力与数据准确率;
6、配合部门业务需求,定制化开发采集方案、自动化处理脚本,沉淀可复用的数据处理工具;
7、整理技术文档、数据说明文档,做好数据归档、版本留存,配合团队完成各项数据支撑工作。
任职资格:1、熟练掌握Python核心编程,精通爬虫相关技术,熟练使
2、对原始采集数据进行清洗、去重、规整、分类、结构化处理,修复脏数据、缺失数据,输出标准化可用数据集;
3、熟悉常见反爬机制,可独立解决IP限制、动态加载、验证码、接口加密等各类反爬问题,优化爬虫策略与抓取效率;
4、负责数据入库、整理、统计汇总,按需输出数据报表、分析台账,支撑部门业务分析、项目咨询、数据复盘工作;
5、负责爬虫脚本日常运维、BUG修复、版本优化,持续提升采集稳定性、并发能力与数据准确率;
6、配合部门业务需求,定制化开发采集方案、自动化处理脚本,沉淀可复用的数据处理工具;
7、整理技术文档、数据说明文档,做好数据归档、版本留存,配合团队完成各项数据支撑工作。
任职资格:1、熟练掌握Python核心编程,精通爬虫相关技术,熟练使
职位类别: 数据分析师
举报温馨提示
- 公司规模:1 - 49人
- 公司性质:私营企业
- 所属行业:电力其它类
- 所在地区:广东-广州市
- 联系人:肖梦平
- 手机:会员登录后才可查看
- 邮箱:会员登录后才可查看
- 邮政编码:
工作地址
- 地址:广州市天河区白沙水路123号长兴创兴港自编5栋





