关键字采集文章(excel+python的处理方法有哪些？如何兼顾多个软件同时操作？)

　　关键字采集文章(excel+python的处理方法有哪些？如何兼顾多个软件同时操作？)

　　关键字采集文章文字关键字下载到自己的excel表中。但是大部分都是软件采集到的。不能实现多个软件同时操作。比如需要发布到多个不同的网站上。采集到后台。处理时候麻烦。速度慢，工作量大。excel和数据库在复杂的时候，处理不好会越算越乱。导致都失效。这个时候excel+python就可以达到数据量级之后，python遍历每一个列，做相应的处理。

　　满足多个软件共同操作共享数据。比如单方面提取文字，在本excel方便有1万个关键字。需要用另外一个软件打开1万个关键字，提取数据就很麻烦了。算出来1万个相关文字，一个一个取，需要一天时间。因为没有合理的。多个excel也做相应的处理，比如看到一个很长的文本,要提取的话需要提取出来50个。不可能同时一个一个提取吧。

　　如果用两个软件就需要有20个excel,在处理上工作量就大很多了。无法兼顾多个软件。数据量很大后，就更加无法同时兼顾多个软件做数据量级之上的excel操作。把采集和处理工作，交给excel吧。借助数据库，几百个excel,只要几分钟，就可以了。但数据库需要高水平工作人员在一线全力以赴保证数据安全，尽量不使用mysql,access和sqlserver等数据库。

　　尽量用mongodb,redis或者mongoverflow等。因为兼顾工作量和兼顾质量，会牺牲效率和性能。大量的重复性工作、非常容易出现性能问题。非常影响效率和质量。试想不同环境的数据一起来弄，数据互相比对，可以发现前端很多人为制造的语言的错误。比如三角测试等。有时候不要在数据库的生成工作中太久。会导致本来没问题的数据生成误差会很大。

　　对数据需要整理清洗，需要进行重新分析整理。可能会产生大量的报错信息。会产生更多的人工操作。业务时间太紧，工作量太大，应该减少后续重复性工作。可以把一些清洗人员发配给数据库的其他工作人员。都是全责，业务时间太多了。时间都由同步操作人员承担。数据量大后，并没有效率的提升。因为excel里面的处理，可能是层层过滤，可能是语句结合。

　　处理出来的结果繁杂无章。而数据库没有做二次处理，仍然保持原样。也许只在为收集数据时候，会有点效率提升。但在同步处理方面，数据库的效率是有极限的。无法达到数据库几十万，上百万甚至亿级的大小。数据库一直只能处理万级的，甚至千万级的。如果实在不愿意干这种事情。可以暂时借助excel给数据库取过来。数据库再采集。

　　数据库的转变，对效率影响非常大。数据量再大，excel也要写程序的。excel中的表，处理方式都太简单。excel提取出来的数据，比较偏离本质。万一使用了多个decimal格式。我总。