数据采集分析工程师

　　数据采集分析工程师

　　5、编写剖析，采集文档，提出合理化采集方案；

　　6、采集行业各种信息，并整理、汇总产生基础信息库，为剖析、决策提供支撑。

　　7、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

　　8、负责分布式爬虫策略持续优化。

　　任职要求：

　　1、 熟悉Linux开发环境；熟练把握JAVA，C#等语言；基础扎实，熟悉多线程、高并发编程，代理技术、网络编程技术,熟悉分布式、缓存、消息、搜索等机；

　　2、 对TCP/IP和HTTP合同有较深的理解,熟悉网页抓取原理及技术，熟悉HTTP合同，熟悉基于Cookie，Session的网站登录原理，熟悉基于正则表达式、Xpath、CSS等网页信息抽取技术；

　　3、 具备信息检索、web挖掘等搜索引擎相关知识，有从事海量网路爬虫、反爬技术,深度抓取、动态网页抓取技术、浏览器模拟抓取技术、从结构化的和非结构化数据中获取信息

　　4、 具备图象处理技术， 熟悉Tesseract-ocr，对图片文件中的文字进行剖析辨识如验证码文字的提取与辨识

　　5、熟悉和应用过常用的数据剖析建模，数据挖掘、机器学习算法，如：聚类剖析，关联规则，决策树，回归剖析，时间序列等；

　　6、 具备良好的沟通能力和管理能力；

　　7、具有5年以上.NET(C#)商业项目开发经验。

　　8、 大学本科以上*敏*感*词*，计算机相关专业。