1.负责分布式网络爬虫系统的设计与开发；
2.负责爬取互联网上允许搜索爬虫采集的公开数据的爬取、清洗、解析、入库；
3.针对需要的数据，寻找网站或app内可用的接口；
4.研究主流网站和app反爬机制，寻找应对方案；
5.不断的学习研究行业新技术，提升业务能力，并作团队分享；
6.js、Android、IOS应用的逆向，能正向还原关键算法；
任职资格:
1.大专及以上学历，计算机相关专业，3年以上相关工作经验；
2.熟悉linux开发环境，熟练掌握java或python编程语言，熟悉js语言；
3.掌握web/app 常见的反爬机制，精通各种反爬破解，包括但不限于：hook、Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能；
4.熟练掌握http协议，xpath、csspath、正则表达式，有使用webmagic经验优先；
5.有mysql、redis、kafka、clickhouse使用经验；
6.熟悉selenium或Puppeteer，appium或airtest，AutoJS；
7.熟悉常用反爬手段及其对应方法、技巧；
8.有良好的责任心、沟通能力、学习能力、团队协作精神；
9.熟悉常用js防护手段及其对应的分析、调试技巧优先；