京东搜索如何构造网址和《如何管理规则的线索》

　　京东搜索如何构造网址和《如何管理规则的线索》

　　采集Content：京东商品名称、价格、链接

　　注意：在这种情况下，京东搜索有独立的网址。对于有独立网址的页面，最简单的方法是构造每个关键词搜索网址，然后将线索网址导入到规则中，就可以批量采集，而不是设置连续动作，可以参考《如何网站建设”和“线索规则如何管理”。

　　第一步：定义一级规则

　　

　　1.1 打开极手客网络爬虫，输入网址回车，加载网页后点击“定义规则”按钮，会看到一个浮动窗口，称为工作台，在上面可以定义规则；

　　注：这里的截图和文字说明均为极手客网络爬虫版本。如果你安装的是火狐插件版本，那么就没有“定义规则”按钮，但是你应该运行MS Museum。

　　1.2 在工作台中输入一级规则的主题名称，然后点击“检查重复”，提示“此名称可以使用”或“名称已被占用，可编辑：是” ，您可以使用此主题名称，否则请重命名。

　　

　　1.3 这一层规则主要是设置连续动作，这样排序框就可以随意抓取一条信息，用它来判断是否为爬虫执行采集。双击网页上的信息，输入标签名称，勾选确认，然后勾选关键内容，输入第一个标签的排序框名称，标签映射完成。

　　提示：为了准确定位网页信息，点击定义规则会冻结整个网页，无法跳转到网页链接。再次点击定义规则，返回正常网页模式。

　　第 2 步：定义连续动作

　　点击工作台的“Continuous Action”选项卡，点击New按钮新建一个action，每个action的设置方法都是一样的，基本操作如下：

　　

　　2.1，输入目标学科名称

　　这里的目标主题名称是填写二级主题名称，点击“谁在使用”查看目标主题名称是否可用，如果已经被占用，只需更改一个主题名称即可。

　　2.2，创建第一个动作：回车

　　创建一个新动作并选择动作类型作为输入。

　　

　　2.２.1，填写定位表达式

　　首先点击输入框，定位输入框的节点，然后点击“Auto Generate XPath”按钮，可以选择“Preference id”或者“Preference class”，就可以得到输入的xpath表达式框，然后单击“搜索”按钮，检查这个xpath是否可以在输入框中唯一定位，如果没有问题，将xpath复制到定位表达式框中。

　　注意：定位表达式中的xpath是锁定动作对象的整个有效操作范围。具体是指鼠标可以点击或输入成功的网页模块。不要在底部找到 text() 节点。

　　2.2.2，输入关键词

　　输入关键词填写你要搜索的关键词，可以输入一个关键词，也可以输入多个关键词，输入多个关键词使用双分号；;把每个关键词Separate，免费版只支持关键词5以内，旗舰版可以使用连发弹匣功能，支持关键词10000以内

　　2.2.3，输入动作名称

　　告诉自己这一步是做什么的，以便你以后可以修改。

　　2.3，创建第二个动作：点击

　　

　　参考2.2的操作，创建第二个action，选择type为click，定位搜索按钮，然后自动生成xpath检查是否锁定到唯一节点，填入定位表达式如果没有问题。 .

　　2.4，保存规则

　　点击“保存规则”按钮保存完成的一级规则

　　第 3 步：定义二级规则

　　3.1，新建规则

　　

　　创建二级规则，点击“定义规则”返回正常网页模式，输入关键词搜索结果，再次点击“定义规则”切换到规则制定模式，点击“左上角规则”菜单->“新建”，输入主题名称，其中主题名称是在第一级规则的连续动作中填写的目标主题名称。

　　3.2，标记你想要的信息采集

　　

　　3.2.1，在网页上标记你要采集的信息，这里是产品名称和价格的标记，因为标记只对文本信息有效，链接到商品详情是属性节点@href，所以不能在链接上做这样的可视化标记，要做内容映射，具体看下面的操作。

　　3.2.2，点击产品名称，下方DOM节点定位A标签，展开A标签下的属性节点，可以找到代表URL的@href节点，右键节点，选择“New Capture“Fetch content”，输入名称，一般给抓取到的内容取一个与地址相关的名称，比如“下级网址”，或者“下级链接”等。然后在工作台上，看到爬取的内容是可用的，如果还想进入商品详情页采集，必须对照爬取的内容检查下层线索，做分层爬取。

　　3.2.3、设置“关键内容”选项，让爬虫判断采集规则是否合适。在排序框中，选择网页上不可避免的标签，并勾选“关键内容”。这里选择“名称”作为“关键内容”。

　　

　　3.2.4，如果你只在前面标记一个产品，你可以得到一个产品信息。如果你想采集整个页面上的每一个产品，你可以做一个样本复制，没有如果你明白，请参考基础教程“采集表数据”

　　3.3，设置翻页路线

　　

　　设置爬虫路由中的翻页，这里是标记提示，不明白的请参考基础教程《设置翻页采集》

　　3.4，保存规则

　　点击“测试”以检查信息的完整性。如果不完整，重新标记可以覆盖之前的内容。确认没有问题后，点击“保存规则”。

　　第 4 步：捕获数据

　　

　　4.1，连续动作是连续执行的，所以只要运行一级主题，二级主题就不需要运行了。打开DS计数器，搜索一级话题名称，点击“单次搜索”或“采集”，可以看到在浏览器窗口中自动输入并搜索关键词，然后调用二级话题自动采集搜索结果。

　　4.2，一级话题没有采集到有意义的信息，所以我们只看二级话题的文件夹，可以看到采集的搜索结果数据，搜索关键词是默认记录在xml文件的actionvalue字段中，这样可以一一匹配。

　　如果您有任何问题，可以或