严重浪漫 博客

一直以来，都听到人说“百度爬虫不爬我的网站了”之类的话，自己以为是比较高深的学问，也没有多问。今天有闲，百度了一下这个事情，谁知道很简单。发到这里，共勉。

查看百度蜘蛛来过我的wordpress博客，最简单的方法就是看服务器的日志分析，服务器日志在哪看呢？如果你和我一样，后台是cPanel的，里面就专门有个“日志”。查看日志时，可以搜索一下“baidu”“google”等关键词，就可以找到爬虫的身影了。【如图】

大家看我抓的这几张图，第一个是谷歌的爬虫googlebot，第二个是百度的爬虫baiduspider，第三个是MSN的。

如果你不是cPanel后台。那么，登陆FTP，下载服务器目录下边的logs文件，用写字板打开，搜索一下“baidu”“google”等关键词，假如能搜索得到，就证明百度蜘蛛曾经来过。