大数据工程师（数据采集）

岗位职责：

1、负责相关各类网站及平台的数据采集方案设计与开发，搭建高效、稳定的爬虫系统，确保数据采集的准确性、完整性和时效性；

2、​针对目标平台的反爬机制（如 JS 加密、Token 验证、验证码、IP 封禁等），进行 JS 逆向分析与破解，优化爬虫策略，解决采集过程中的技术难题；

3、重点负责相关平台的数据采集，深入理解电力行业数据结构与业务逻辑，保障行业数据的有效获取；

4、开发新的爬虫项目，监控数据采集状态，及时处理异常情况（如网站结构变更、反爬升级等），确保系统稳定运行；

5、配合项目需求，接受短期出差任务, 可完成出差期间的现场工作安排。

任职资格：​

1、本科及以上学历，计算机科学与技术、软件工程、电气等相关专业优先，1-5 年爬虫开发经验；

​2、精通 Python 编程语言，熟练使用 Scrapy、Requests、BeautifulSoup、Selenium、Playwright 等爬虫框架及工具；熟悉 HTTP/HTTPS 协议、TCP/IP 协议，能熟练分析请求头、Cookie、Session 等参数；

3、熟练掌握 JavaScript 语言，能使用 Chrome DevTools、Fiddler 等工具分析网站请求流程，破解 JS 加密、参数签名、动态 Token 等反爬措施；有过复杂网站（如电商、金融、能源类平台）JS 逆向经验者优先；

4、熟悉常见的数据库（如 MySQL、MongoDB）操作，能将采集的数据高效存储与管理；

5、接受短期出差（每年出差频次及时长根据项目需求调整），持有 C1 及以上驾驶证，驾驶技术良好优先。

6、工作认真，责任心强。