工作职责：

1. 负责公司的爬虫平台建设与业务支撑；
2. 负责公司爬虫的技术调研以及策略优化；
3. 负责制定相关的反爬虫安全策略。

任职资格：

1. 全日制本科及以上学历，计算机相关专业；
2. 掌握java或python编程语言，熟悉多线程编程，熟悉scrapy、pyspider、webmagic、nutch等其中一个或多个爬虫框架以及原理；
3. 熟悉网页抓取的原理和技术，精通正则表达式，熟悉网络协议及数据交换标准，能够快速解析各类结构化及非结构化数据；
4. 有redis、memcache、HBase、Lucene、Solr、ElasticSearch等相关使用经验的优先，有分布式爬虫系统的开发经验优先；
5. 有责任心，工作有计划性，有良好的学习能力，具备优秀的沟通能力和团队精神。