解决方案:python自动采集内容到wordpress

　　解决方案:python自动采集内容到wordpress

　　老金授权ITSEO独家发布他的文章，转载并注明出处！

　　最近我用wordpress做了一个小网站。目的很简单，更新小说，尽快发布到wordpress。本来想用优采云解决的，但是没有rogue这个模块，我只用python自己写的。想用mysqldb直接插入，但是wordpress形式有点麻烦，远程速度有点慢。当我想到python的主要思想不是重新发明轮子的时候，我在pypi中找到了wordpress_xmlrpc模块，主要功能就不提了，详见官网：

　　目前wordpress_xmlrpc模块已经更新到2.2版本，但是我用的是1.5版本。懒的同学可以在centos下这样安装。

　　wget --no-check-certificate

　　tar zxf python-wordpress-xmlrpc-1.5.tar.gz

　　cd python-wordpress-xmlrpc-1.5

　　python setup.py 安装

　　好了，wordpress_xmlrpc模块就介绍到这里了，其他功能参考官网的介绍。让我们谈谈程序的想法。

　　1.使用记事本记录已爬取的网址。

　　2.再去抓取这个页面，得到这个页面的所有URL文章。

　　3. 检查该页面的所有网址是否都是TXT格式。

　　4.如果没有，抓取这个网址的标题和内容，发给wordpress，把网址写入txt

　　5、最后，使用crontab来自动化任务，每天定时运行。

　　代码如下：（为了防止部分同学白拿，用图片代替代码，红色部分是网址、账号、密码、保存url地址的txt）

　　当然，代码有一个小问题，就是没有定义类别。其实wordpress_xmlrpc也可以定义发布分类，只是我比较懒，在后台设置目录写作默认文章分类。

　　然后将 crontab 设置为每小时更新一次。不会设定的自我提升

　　汇总:【URL采集-如何通过关键词获取网址，网站信息？】

　　如何通过关键词获取全网可访问的URL和网站信息

　　有时我们需要对我们的网站或产品进行市场分析，

　　这时候，我们需要获取大量数据进行对比。如果是手动获取的话，会耗费太多时间。

　　于是就有了Msray全网URL采集工具。

　　Msray的主要功能： 1：URL采集根据关键词

　　msray可以根据提供的关键词，通过搜索引擎对关键词的结果进行排序。

　　采集的内容包括：域名、网址、IP地址、IP国家、标题、描述、访问状态

　　2：根据URL采集网站信息

　　msray可以根据提供的url 关键词，采集已经是网站的收录内容

　　采集的内容包括：域名、网址、IP地址、IP国家、标题、描述、访问状态

　　3：*敏*感*词*根据url采集

　　msray 可以根据提供的 url采集 网页提供联系信息。

　　如何使用：

　　此示例通过 关键词 演示 采集

　　1：创建一个关键词采集任务

　　您可以根据自己的业务需求填写配置。

　　2：执行后预览结果。

　　msray 支持多种导出方式

　　同时还有消息推送，可以将采集收到的结果推送到目标系统进行统计分析，然后使用

　　使用 msray 可以帮助我们快速组织我们自己业务所需的数据。

　　msray官网：

　　在线文档：

　　获取免费版本：