ajax抓取网页内容(WEB网页上应用AJAX技术是动态生成的友好吗)

　　ajax抓取网页内容(WEB网页上应用AJAX技术是动态生成的友好吗)

　　在WEB页面上应用AJAX技术可以提升用户体验，但是对于SEO来说不够友好，因为搜索引擎不执行JS，AJAX页面的内容是动态生成的（即页面上显示的内容）显示在浏览器中，终端由JS动态生成）。既要保留AJAX又要造福搜索引擎收录，如何平衡两者？

　　搜索引擎收录网页，通过机器蜘蛛抓取网页的HTML源代码，并从中解析出网页URL或网页内容。因此，每个AJAX网页都应该被分配一个URL，并且每个AJAX网页都必须收录一个超链接标签，并使用href属性来标记每个页面的URL，以便搜索引擎能够识别出对应的URL。对于同一个URL，如果蜘蛛在抓取，应该输出完整的网页内容，如果被Ajax调用，应该输出相应格式的返回数据。这是Quickling技术。

　　对于单页应用，URL中的“#”一般用于区分不同的UI，但搜索引擎不会识别锚点。这种情况下，可以考虑使用History API通过下面的js调用改变浏览器地址栏，根据网站的不同调用改成对应的URL（注：只能将当前浏览器的URL改成相同的域 URL）。

　　window.history.pushState(state object, title, url);

　　另外，PhantomJS可以用来获取AJAX网页的HTML（包括脚本动态生成的内容），所以在不改变现有AJAX网页的基础上，通过判断搜索引擎是否访问，调用PhantomJS获取Ajax网页的HTML内容并返回给搜索引擎。 PhantomJS 官网：.