MJ12bot这个蜘蛛是大家都怎么处理的?是否对SEO有帮助,他一直频繁的访问网站,是否应该屏蔽掉他呢,我的选择是好不犹豫的直接干掉他;
- MJ12bot遵循robots.txt标准,惹需屏蔽他,直接在 robots.txt 添加以下代码;
User-agent: MJ12bot
Disallow: /
MJ12bot这个蜘蛛是大家都怎么处理的?是否对SEO有帮助,他一直频繁的访问网站,是否应该屏蔽掉他呢,我的选择是好不犹豫的直接干掉他;
User-agent: MJ12bot
Disallow: /
感谢分享,我也遇到这个了,根据你的提示,屏蔽掉了