网页手机号抓取程序(微信小程序的页面优化之前，怎么识别微信的爬虫)

　　网页手机号抓取程序(微信小程序的页面优化之前，怎么识别微信的爬虫)

　　微信现在已经开放了小程序页面的搜索，这意味着微信小程序中的内容也可以被微信搜索引擎和收录收录。这对于基于内容的微信小程序来说是一件非常有利的事情，因为用户可以通过微信来搜索小程序的内容，增加了小程序的入口方式，让小程序获得了更多的曝光率。您还可以通过您感兴趣的内容发现更多优质的小程序。

　　在谈微信小程序的页面优化之前，我们需要了解的是如何识别微信爬虫。

　　当微信搜索爬虫访问小程序中的页面时，它会携带具体的用户代理“mpcrawler”和场景值：1129。通过我们的日志分析，我们可以知道微信搜索爬虫是否访问过小程序的页面，以及爬行的频率。

　　微信小程序的SEO优化在开发时需要注意。有几个预防措施：

　　1. 小程序中跳转到的页面直接打开。

　　小程序页面中的跳转页面是我们爬虫寻找页面的重要来源，搜索引擎召回的结果页面必须能够不依赖上下文状态直接打开。并且我们建议在URL中收录页面需要的参数，方便爬虫访问。

　　2. NAVIGATOR 组件是页面跳转的首选。

　　小程序提供了两种页面路由方式：

　　一个。导航组件

　　湾 路由API，包括navigateTo/redirectTo/switchTab/navigateBack/reLaunch

　　推荐使用导航组件。如果非要使用API​​，可以在爬虫访问过程中屏蔽为点击设置的时间锁或变量锁。

　　3. 清晰简洁的页面参数。

　　一个结构清晰、参数简洁、有意义的查询字符串对爬取和后续分析很有帮助，但是使用JSON数据作为参数的方式实现效果不佳。

　　4. 仅在必要时请求用户授权、登录、绑定手机号等。

　　建议仅在必要时请求用户授权（例如，您可以匿名阅读文章，发表评论需要留下您的姓名）。

　　5.不要把需要收录的内容放在WEB-VIEW组件中

　　web-view组件是微信小程序用来访问外部网页的组件。可以引入一个外部网页，覆盖整个小程序页面，但是这个页面的内容不是微信搜索引擎收录。

　　6. 使用SITEMAP配置引导爬虫爬取，同时屏蔽不值得搜索的路径。

　　开发者可以通过sitemap.json进行配置，也可以通过后台页面收录开关来配置自己的小程序页面是否允许微信索引。当开发者允许微信索引时，微信会以爬虫的形式索引小程序的页面内容，并可以设置允许或拒绝访问的目录和路径。

　　7. 设置清晰的标题和页面缩略图。

　　页面标题和缩略图对我们了解页面和提高曝光转化率很重要。

　　通过wx.setNavigationBarTitle或者在ShareAppMessage上自定义转发内容来设置页面的标题和缩略图，还可以补充视频和音频组件的poster/poster-for-crawler属性。

　　8. 主动提交页面供微信搜索引擎抓取

　　使用页面路径可以大大丰富微信上可以收录的内容，从而增加小程序内容的曝光机会。小程序开发者可以通过接口提交小程序页面URL和参数信息，让微信可以更及时的收录到小程序页面信息。具体操作方法请查看微信开放平台文档。