首页>云计算大数据

北京鲸鱼外教培优招聘高级Python爬虫工程师一名!!!

更新时间:2019-09-25

鲸鱼小班(原柔持英语)是国内首家同伴式青少儿在线英语学习平台,专注于为3—18岁的青少儿提供高品质的英语学习方案。鲸鱼小班引入美国CCSS标准原版教材,为孩子提供高质量的全学科英语课程,真实还原美国中小学课堂的教学场景,并通过同伴式互动学习方式,全方位提升孩子的“听说读写”四大核心能力,培养孩子的学科知识和国际视野。鲸鱼小班还首创并坚持线上“固定老师、固定同伴、固定课表”的“三固定”班课运营模式,让孩子跟着固定的外教和熟悉的同伴规律的学习,努力给到孩子最好的学习兴趣、体验和效果。

  职位描述:

1、负责分布式网络爬虫系统平台的架构设计与开发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)、技术选型;

2、研究爬虫策略和防屏蔽规则,解决封账号、封IP、验证码、页面跳转等难点攻克,提升网页抓取的效率和质量;

3、利用主流的大数据相关技术,对抓取后的网页数据进行清洗、存储等;并持续优化平台,以便满足各种爬取业务需求;

4、把握网络爬虫核心技术研究方向,研究优化算法,提升爬虫系统的稳定性、可扩展性;

 

职位要求:

1、全日制本科及以上学历,计算机相关专业,3年及以上爬虫经验;深度参与过至少一个‘分布式网络爬虫系统’的架构设计;

2、良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验;

3、精通爬虫和反爬技术,精通http底层协议;精通深度抓取、动态网页技术抓取、浏览器模拟抓取、APP抓取等技术;

4、熟悉分布式系统、多线程,精通scrapy框架以及原理,有开发爬虫框架经验;

5、对主流爬虫架构有深入研究,具有成熟爬虫工具的设计及运维经验。

6、有很强的学习能力和技术钻研能力,积极主动,思维灵活开放,有良好的沟通能力,善于跨团队合作;

上一篇:北京信实志远系统集成有限公司招聘LINUX系统工程师1名...

下一篇:北京中软国际科技服务有限公司招聘python开发工程师5名...

金源在线客服

QQ在线咨询

咨询电话
010-83650488

在线咨询