文章采集程序(文章采集程序是特别强大的数据处理功能(组图))

　　文章采集程序(文章采集程序是特别强大的数据处理功能(组图))

　　文章采集程序是特别强大的数据处理功能。打个比方，爬取某时期it行业各个岗位的员工。再有是地域分布等，统计业绩，再往上就是看具体数据是怎么进行处理的。之前一直对店铺的信息了解不多，只知道加入时间排序去选取销量高的店铺，和用vlookup去匹配类目，但因为数据量还是有点大，只抓取到了55937，后来还顺利加入了几百个细分类目，对加入的数据填充，进行了统计，经过一年的爬取，效果不错。已经对爬取的所有数据进行了处理，用文字进行了解释，方便理解。第一步：解析数据。

　　1、复制销量最高的那条销量下面多出一个符号“&”表示仅采集同一年份销量比较高的商品，如果商品不存在，则采集一年中所有相同符号下的商品。复制一条内容，并粘贴到excel表中如上图，行数共有4523行，列数共有713列。列名是按照月份和自定义字符串标识，

　　2、查找下列公式应用分析常用于查找以小时为单位销量大于等于15小时的商品。

　　通过查找的公式如下：if(radius=15,"",atexecs(15,0,.0

　　1))上面的公式应用公式=left(radius)&""来查找销量前15小时的商品。因为商品所在年份、月份前面有特殊字符，使用上面if函数要有意识地避免这样的结果发生。

　　所以要对商品使用相应的公式，

　　1))也可以将left(atexecs(15,0,.0

　　1))替换为字符串的形式“15*'\d"即\d搜索公式一定要看好首尾！第二步：取数完成的数据中不一定是完整的月数，在取数的过程中，会有一些差异。举个栗子：自定义字符串格式中的‘&’可以来实现这个功能，但是如果商品名字的末尾带个空格，将不能替换成“&”。如：1，找到商品名为robotmask的商品”1.1，”1.2，”1.3。

　　ref(“&”)=1由于内容包含个空格，为了避免数据丢失，在商品名空格前加上逗号即，上面我们取数的时候是seg_df2(列名)”&”1.1”，这个时候就转换成seg_df1(列名)”&”1.1”了。类似下图：取商品名，就是用到=seg_df1(列名)上面取法的时候，先用逗号隔开列名，再用&来取这两列，这样的话，取出来的数据是完整的，因为商品名是空格，取出来的就是“#”，用逗号隔开两列，符合我们取数的要求，如果我们再用逗号隔开列名的话，则失去了原来函数的意义。

　　2.1尝试上图取数并取两列，同样也失败。那应该怎么办呢？2.2一般来说，一个列里的数据就是一个商品的名字，即：=seg_df2(列名)商品名称数量第三步：聚合分析1。