BaiduSpider
De laatste maanden heb ik behoorlijk veel last en problemen met de BaiduSpider, op één of andere manier kan ik het niet voor elkaar krijgen om die te stoppen.
Hieronder een aantal pogingen die ik al uitgevoerd heb in de .htaccess bestand
Of op deze manier
En op deze manier
In de robots.txt bestand het volgende geplaatst
Geen idee meer wat nu verder te doen, en of dat de informatie van de code niet correct blijkt te zijn
De laatste maanden heb ik behoorlijk veel last en problemen met de BaiduSpider, op één of andere manier kan ik het niet voor elkaar krijgen om die te stoppen.
Hieronder een aantal pogingen die ik al uitgevoerd heb in de .htaccess bestand
Code:
##begin code
##start blocking potentially unwanted bots.
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^GbPlugin [NC]
RewriteCond %{HTTP:Content-Disposition} \.php?[s\d]? [NC]
RewriteCond %{HTTP:Content-Type} image/.+ [NC]
RewriteCond %{HTTP_USER_AGENT} BOT/0\.[0-9]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC,OR]
RewriteRule ^.* - [F,L]
##end code. bai bots.
Code:
##begin code
##start blocking potentially unwanted bots.
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^GbPlugin [NC]
RewriteCond %{HTTP:Content-Disposition} \.php?[s\d]? [NC]
RewriteCond %{HTTP:Content-Type} image/.+ [NC]
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule ^.* - [F,L]
##end code. bai bots.
Code:
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
SetEnvIfNoCase User-Agent BOT for JCE bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Code:
User-agent: Baiduspider
Disallow: /
BaiduSpider niet te stoppen