京东搜索为例案例规则+操作步骤注意事项及解决办法！

　　京东搜索为例案例规则+操作步骤注意事项及解决办法！

　　一、操作步骤

　　如果网页上有搜索框，但是搜索结果页没有单独的网址，而你想要采集搜索结果，直接规则是采集不能做，你必须先做一个连续的动作（输入+点击）来实现自动输入关键词并搜索，然后采集数据。下面以京东搜索为例，演示自动搜索采集。操作步骤如下：

　　二、Case规则+操作步骤

　　注意：在这种情况下，京东搜索有独立的网址。对于有独立网址的页面，最简单的方法就是构造每个关键词搜索网址，然后将线索网址导入到规则中，就可以批量采集而不是设置连续动作

　　第一步：定义一级规则

　　1.1 打开极手客网络爬虫，输入网址回车，加载网页后点击“定义规则”按钮，会看到一个浮动窗口，称为工作台，在上面可以定义规则；

　　注：此处截图及文字说明均为极手客网络爬虫版本。如果您安装的是Firefox插件版本，则没有“定义规则”按钮，但您应该运行MS Muse。

　　1.2 在工作台中输入一级规则的主题名称，然后点击“检查重复”，会提示“此名称可以使用”或“名称已被占用，可编辑：是” ，您可以使用此主题名称，否则请重命名。

　　1.3 这一层规则主要是设置连续动作，这样排序框就可以随意抓取一条信息，用它来判断是否为爬虫执行采集。双击网页上的信息，输入标签名称，勾选确认，然后勾选关键内容，输入第一个标签的排序框名称，标签映射完成。

　　提示：为了准确定位网页信息，点击定义规则会冻结整个网页，无法跳转到网页链接。再次点击定义规则，返回正常网页模式。

　　第 2 步：定义连续动作

　　点击工作台的“Continuous Action”选项卡，点击New按钮新建一个action，每个action的设置方法都是一样的，基本操作如下：

　　2.1，输入目标学科名称

　　这里的目标主题名称是填写二级主题名称，点击“谁在使用”查看目标主题名称是否可用，如果已经被占用，只需更改一个主题名称即可。

　　2.2，创建第一个动作：回车

　　创建一个新动作并选择动作类型作为输入。

　　2.２.1，填写定位表达式

　　首先点击输入框，定位输入框的节点，然后点击“Auto Generate XPath”按钮，可以选择“Preference id”或者“Preference class”，就可以得到输入的xpath表达式框，然后单击“搜索”按钮，检查这个xpath是否可以在输入框中唯一定位，如果没有问题，将xpath复制到定位表达式框中。

　　注意：定位表达式中的xpath是锁定动作对象的整个有效操作范围。具体是指鼠标可以点击或输入成功的网页模块。不要在底部找到 text() 节点。

　　2.2.2，输入关键词

　　输入关键词填写你要搜索的关键词，可以输入一个关键词，也可以输入多个关键词，输入多个关键词使用双分号；;把每个关键词Separate，免费版只支持5个以内的关键词，旗舰版可以使用爆弹功能，支持关键词10000以内

　　2.2.3，输入动作名称

　　告诉自己这一步是做什么的，以便你以后可以修改。

　　2.3，创建第二个动作：点击

　　参考2.2的操作，创建第二个action，选择类型为click，定位搜索按钮，然后自动生成xpath检查是否锁定到唯一节点。如果没有问题，填写定位表达式。 .

　　2.4，存款规则

　　点击“保存规则”按钮保存完成的一级规则

　　第 3 步：定义二级规则

　　3.1，新建规则

　　创建二级规则，点击“定义规则”返回正常网页模式，输入关键词搜索结果，再次点击“定义规则”切换到规则制定模式，点击“左上角规则”菜单->“新建”，输入主题名称，其中主题名称是在第一级规则的连续动作中填写的目标主题名称。

　　3.2，标记你想要的信息采集

　　3.2.1，在网页上标注你要采集的信息，这里是标注产品名称和价格，因为标注只对文字信息有效，以及产品链接details 是属性节点@href，所以不能在链接上做这么直观的标记，要做内容映射，具体看下面的操作。

　　3.2.2，点击产品名称，下方的DOM节点定位到A标签，展开A标签下的属性节点，可以找到代表URL的@href节点，右键节点，并选择“New Capture”抓取内容，输入一个名字，一般给抓取到的内容取一个与地址相关的名字，比如“下级网址”，或者“下级链接”等等。然后在工作台上，我看到表示抓取到的内容是可用的。如果您还想进入商品详情页采集，则必须针对抓取的内容检查下层线索，并进行分层抓取。

　　3.2.3，设置“关键内容”选项，让爬虫判断采集规则是否合适。在排序框中，选择网页上不可避免的标签，并勾选“关键内容”。这里选择“名称”作为“关键内容”。

　　3.2.4，只要在前面标注一个产品，就可以得到一个产品信息。如果你想采集下整个页面上的每一个产品，可以做一个样例拷贝，没有如果你看懂了，请参考基础教程“采集表数据”

　　3.3，设置翻页路线

　　在爬虫路由中设置翻页，这里是标记提示，不明白的请参考基础教程《设置翻页采集》

　　3.4，保存规则

　　点击“测试”以检查信息的完整性。如果不完整，重新标记可以覆盖之前的内容。确认没有问题后，点击“保存规则”。

　　第 4 步：捕获数据

　　4.1，连续动作是连续执行的，所以只要运行一级主题，二级主题就不需要运行了。打开DS计数器，搜索一级话题名称，点击“单一搜索”或“采集”，可以看到浏览器窗口会自动输入并搜索关键词，然后二级话题就会出现自动调用采集搜索结果。

　　4.2，一级主题没有采集到有意义的信息，所以我们只看二级主题文件夹，可以看到采集的搜索结果数据，搜索关键词是默认记录在xml文件的actionvalue字段中，这样可以一一匹配。