php抓取网页数据插入数据库(你处理过的最大是多少？你是如何处理的？)

　　php抓取网页数据插入数据库(你处理过的最大是多少？你是如何处理的？)

　　您处理的最大数据量是多少？你是怎么处理的？

　　以前在一家公司做IT，凡是跟电脑有关的都得做，就是俗话说的IT民工。

　　当时公司有一个数据库，每个月会收到100万左右的测试数据，然后通过程序每五分钟左右爬一次数据库。

　　说实话，当时压力还是挺大的，因为节目涉及制作，停不下来。频繁读取如此大量的数据库会导致程序非常卡顿。用一张卡用这个程序的人会停产，所以我在方面。也研究了一些方法。注：当时使用的服务器是windows server2008r2，数据库是sql 2008版本，程序是php语言编写的。

　　我总结一下当时的方法：

　　1、 每个月我都会找时间重启服务器，释放CPU和内存资源。

　　2、一定要把文件服务器和数据库服务器分开，因为文件服务器占用的带宽资源比较多。

　　3、为了防止数据库锁死，你在写程序的时候避免同时使用update语句。

　　4、 使用任务管理对相应数据进行后台处理，比如先将数据写入表a，然后通过任务后台与表b匹配。

　　5、 写sql语句时，尽量精确匹配，不要模糊匹配。您可以使用数据库管理器来检查花费的时间。

　　6、关于数据物理安全的小建议，一定要做好系统盘和数据盘的raid准备，时刻观察硬盘是否亮红报警，及时更换。其次，使用备份软件定期备份数据。空闲时间点备份不会影响数据库使用效率，比如吃饭的时候。

　　当系统无法启动时，请不要随意重装系统，您可以尝试上次正确的配置并启动。

　　总结：实际情况需要灵活的方法，即数据操作的瓶颈在哪里，就在哪里优化。

　　本文由Altair Creative原创，欢迎讨论。