搜索引擎如何抓取网页(解决网站只收录首页，没有内页或者收录很少的办法)

　　搜索引擎如何抓取网页(解决网站只收录首页，没有内页或者收录很少的办法)

　　网站它上线已经一个月了，但是百度和360收录一直只有主页。谷歌收录有50个。没有内页总是很奇怪。以前，我一直认为这是一个关键词优化问题，想上网。据估计，这是一个新的情况。但后来，我发现其他比我优化得晚的网站收录虽然不多，但会有内部页面。在百度的历史收录记录中，发现有以前的内页记录，但它是使用的第一个默认模板。所以我想知道内部屏幕B是否有我所有的收录接口，结果是一样的

　　有几种方法可以解决网站仅收录主页、无内页或收录少数问题：

　　1、检查网站robots.txt文件的设置：

　　机器人是网站与蜘蛛交流的重要渠道。该站点通过robots文件声明搜索引擎不希望成为收录的网站部分，或者指定搜索引擎只有收录特定部分。请注意，如果您的网站收录您不想被收录搜索的内容，您只需要使用robots.txt文件。如果希望搜索引擎收录网站上的所有内容，请不要创建robots.txt文件。为了避免站长设置机器人文件时出现问题，百度站长平台专门推出了机器人工具百度机器人工具，帮助站长正确设置机器人

　　这个东西通常在网站. 如果您和我一样，当前用于在线应用程序的大多数模板都不会有此文件（因为它们不会将其安装到您的根目录）。如果你发现你不理解它，你可以直接杀死它