搜索列表
-
robots.txt详细介绍
【HTML/Xhtml】robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜
介绍详细&rdquoMETA访问搜索引擎Disallow:机器人 -
php记录搜索引擎爬行记录的实现代码
【PHP编程】这篇文章主要介绍了php记录搜索引擎爬行记录的实现代码，然后在文中给大家补充介绍了php获取各搜索蜘蛛爬行记录的代码,需要的朋友可以参考下
php搜索引擎爬行记录php搜索引擎 -
asp 判断是否为搜索引擎蜘蛛的代码
【ASP编程】下面的代码注意是针对搜索引擎做出一些适当的内容显示，但这样对于seo不好。不建议使用。作为学习参考。
asp搜索引擎蜘蛛 -
asp实现禁止搜索引擎蜘蛛访问的代码
【ASP编程】这篇文章主要介绍了asp实现禁止搜索引擎蜘蛛访问的代码，十分的简单实用，有需要的小伙伴可以参考下。
asp搜索引擎蜘蛛访问
