爬虫数据采集工程师(9名) 1.8-2.5万
湖南星汉数智科技有限公司 国家安全产业园8B栋19楼 发布: 08-23 19:46
职位描述

岗位职责:
1.负责爬虫架构设计和研发,对现有架构进行升级优化,加强核心技术研究与开发和前沿爬虫技术并实践。
2.负责爬虫核心搜索策略、算法、数据聚类、重组的设计与开发;
3.负责网络爬虫或数据采集软件的优化改进以及采集规则制定;
4.负责编写项目和系统开发工程中所需要的各类文档。
5.通过监控等手段,确保所负责的站点按周期采集及时、全面。
6.进行技术预研和技术攻关,突破爬虫系统架构、数据采集封锁、采集性能瓶颈等各类技术难点;
7.有应急的技术处理能力,当出现生产问题时可以提出技术解决方法;
8.参与解决各类技术疑难问题,形成良好的研发氛围,提升团队整体技术水平。
岗位要求:
1.计算机相关专业本科及以上学历或5年以上JAVA开发经验,代码风格良好,能独立完成复杂业务需求的设计开发,有系统分析、架构设计经验;
2.熟练掌握linux环境下Golang/Python/Rust/Java/C/C++中的一种或几种语言的开发;
3.精通SpringMVC、Springboot、SpringCloud等开源框架,能了解到它的原理和机制,熟悉各种常用设计模式;
4.熟悉分布式系统的设计和应用,熟悉Redis缓存、Kafka等消息中间件,能对分布式常用技术进行合理应用,解决实际问题;
5.有微服务开发经验,熟悉微服务化开发流程,掌握多线程等高性能的设计与编码方法,有高并发应用开发经验优先;
6.具备良好的文字功底和排版能力,能完成结构清晰、编排合理的技术文档。
7.有软考中级职称证书者;能熟读英文文献;
8.有较强的问题处理能力和协调能力,具有强烈的责任心,良好的沟通、学习能力,有较强的团队合作意识。

湖南星汉数智科技有限公司成立于2016年12月,公司致力于大数据和人工智能技术的开发与应用,是一家将大规模网络数据语义分析和情报知识图谱技术相结合,落地于军民融合领域的高科技创新型企业,已成功服务于政府、军队、企业等行业多家头部客户,是大数据语义分析产业落地的先行者。公司坚持“把数据变成知识,预见风险与机会”的使命,深耕大数据和人工智能尖端技术,自主研发了一系列文本语义分析和图像识别技术,多项关键技术通过业内专家的鉴定,达到了国际领先水平。 2019年完成了由松禾资本领投、麓谷高新创投跟投的数千万元天使轮融资;入选2020爱分析中国人工智能厂商;“2020年度长沙科技之星”企业评选活动中,获得“成长之星”、“创新之星”奖项;获得“2020年广东省科技进步一等奖”。