php如何抓取网页数据库(我正在努力使基于的网站对SEO友好.正如在网络上的教程中所建议的那样,我在链接中添加了“)

　　php如何抓取网页数据库(我正在努力使基于的网站对SEO友好.正如在网络上的教程中所建议的那样,我在链接中添加了“)

　　我正在尝试使 网站 基于 SEO 友好。正如网上教程中所建议的那样，我在链接中添加了“美丽的”href 属性：<a href="#!site = contact "Data-id = "contact" class = "navlink">контакт</a> ; 并且，在默认情况下使用 AJAX 加载内容的 div 中，爬虫的脚本：

　　$files = glob('./pages/*.php');

foreach ($files as &$file) {

$file = substr($file, 8, -4);

}

if (isset($_GET['site'])) {

if (in_array($_GET['site'], $files)) {

include ("./pages/".$_GET['site'].".php");

}

}

　　我有一种感觉，一开始我需要从 (...)/index.php 添加另一个文件？_escaped_fragment_ = site = 关于删除 _escaped_fragment_ = 部分，因为否则脚本将无法从 URL 中获取站点值，对吗？

　　但是，无论如何，我怎么知道爬虫将漂亮的链接（带有 #! 的链接）转换为丑陋的链接（包括？_escaped_fragment_=）？有人告诉我它会自动发生，我不需要提供这个映射，但 Googlebot 的抓取没有向我提供任何关于 URL 发生了什么的信息。