职位:爬虫工程师 1人 中级/高级 2-3月
岗位职责:
1、负责分布式爬虫系统的核心技术研究、架构设计、系统规划
2、负责爬虫核心算法的策略优化,提升网页抓取的效率和质量
3、反爬策略的设计及优化
4、结合业务情况,制定爬虫路由策略,预计数人员共同建立并完善爬虫体系;
任职要求:
1.熟悉Linux系统,掌握Python、C++等语言;
2.了解多线程、多进程、网络通信编程相关知识,有分布式爬虫架构,数据挖掘经验;
3.掌握网页抓取原理及技术,了解基于Cookie的登录原理,熟悉基于正则表达式、XPath、CSS等网页信息抽取技术;
4.熟悉APP模拟及接口验签破解技术,了解APP用户授权访问机制,掌握Selenium,APP破解技术优先;
5.做过数据处理等相关工作优先。
其他要求:
1. 使用scrapy框架;
2. 熟练使用mongoDB;
目前暂时还没有人进行投标!
1、雇主、服务商项目均通过实名认证才能发项目、承接服务;
2、雇主需缴纳保障金到第三方支付平台,才能发布项目;
3、雇主、服务商需严格遵守本平台交易规则。
全程多方位保障交易质量
更智能的过程管理、更可靠的交付保障
专属客服一对一全程服务