WordPress搜索引擎seo网站优化抓取记录代码

WordPress搜索引擎seo网站优化爬行记录代码

我写了一段时间的博客，(北京网站建设) 为什么搜索引擎不收录你的页面？想知道每天有哪些蜘蛛“访问”您的网站吗？作为一个wordpress用户（北京网站制作），有必要知道每天有哪些蜘蛛爬取了你的网站，这样才能了解各个搜索引擎蜘蛛的爬取频率，从而进行针对性的SEO网站优化。

其实很简单，只需要添加下面的代码，然后调用文件代码就OK了。是不是很方便？然后开始吧。

之前也找过几个PHP版本的蜘蛛爬行记录工具，但效果都不尽如人意。而且这些PHP程序大部分都需要安装，在MYSQL中加入蜘蛛爬行记录也太麻烦了。那就找一个简单的蜘蛛爬行记录器吧~

谷歌机器人

1.首先，在wordpress主题根目录建立一个robots.php文件，写入以下内容：

<?php
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, ’googlebot’) !== false){
return ’Googlebot’;
}
if (strpos($useragent, ’msnbot’) !== false){
return ’MSNbot’;
}
if (strpos($useragent, ’slurp’) !== false){
return ’Yahoobot’;
}
if (strpos($useragent, ’baiduspider’) !== false){
return ’Baiduspider’;
}
if (strpos($useragent, ’sohu-search’) !== false){
return ’Sohubot’;
}
if (strpos($useragent, ’lycos’) !== false){
return ’Lycos’;
}
if (strpos($useragent, ’robozilla’) !== false){
return ’Robozilla’;
}
return false;
}
function nowtime(){
$date=gmdate(”Y-n-j H:i:s”,time()+8*3600);
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file=”robotslogs.txt”;
$time=nowtime();
$data=fopen($file,”a”);
fwrite($data,”Time:$time robot:$searchbot URL:$tlc_thispage\n”);
fclose($data);
}
?>

将其上传于你的主题目录内。

2.在Footer.php或header.php的适当位置添加以下代码调用robots.php。

<?php include(’robots.php’) ?>

程序原理：通过对蜘蛛标识符（如Baiduspider、Googlebot）的判断，记录蜘蛛爬行时间，并生成日志文件robotslogs.txt于根目录。

程序缺点：无法记录蜘蛛爬行的页面，功能较为简单。