购物车中还没有商品,赶紧选购吧!

老钱庄娱乐场:流量异常增多,常见原因查找方法

发布日期:2019-01-28 阅读:366

澳门赌场老钱庄娱乐城 www.et6if.com.cn

下载日志,再使用工具editplus打开日志

 

一、查看有没有大量重复访问的IP

一般这种IP都是搜索引擎抓取IP段,比如谷歌蜘蛛抓?。℅ooglebot),百度蜘蛛抓?。˙aiduspider、Baiduspider-render)。

 

注意:Baiduspider-render是访问网站的 CSS、Javascript 和图片信息。

如果查看到这个蜘蛛出现的次数很多,而客户网站图片又比较大,则消耗的流量就会增加,建议把图片处理小。

 

IP段:

image.png

 

谷歌蜘蛛(Googlebot):

image.png

百度蜘蛛(Baiduspider):

image.png

 

百度蜘蛛(Baiduspider-render):

image.png

 

针对以上的异常蜘蛛抓取,处理方法如下:

1、在后台robots禁止谷歌抓取

User-agent: Googlebot

Disallow: /

参考位置,加在这里:

image.png

2、调低百度蜘蛛抓取频率。

登陆百度站长调整。

3、还有个方法,就是帮屏蔽这些抓取IP(仅限客户自有服务器)。

 

二、移动端抓取

思途cms系统,后台做的robots屏蔽仅针对PC端,手机端没做。

但可以把robots屏蔽里面的代码另存为txt文档,上传到服务器手机端根目录下。

 

主要就是1、2点,屏蔽搜索引擎的大量抓取,再观察后续流量是否降低。

  

其他处理(针对网站优化)

三、屏蔽列表页抓取

为什么要屏蔽搜索引擎抓取列表页?

原因:列表页url很长,收录也没内容,对于排名没作用,还会分散权重

 

看日志里,搜索引擎访问的页面链接地址,分辨列表页:

image.png

以上这些就是列表页,可以看到搜索引擎抓取了很多列表页。

Disallow: /*-*

Disallow: /*?*

用这段代码,屏蔽搜索引擎抓取列表页。

可以加在这个位置:

image.png

四、处理404页面

访问日志中如看到大量404页面,就要去百度站长提交处理死链

在HTTP/1.1 后面,是404就表示访问的页面已经不在了,死页面,要处理;

后面显示200,就表示正常抓取,页面存在

 

image.png

其他要点:

在网址后面+robots.txt 可以不登录后台就看到它的robots设置。


以上内容是否对您有帮助? 您的反馈信息提交成功,谢谢您的反??!

会员评论

在线咨询
返回顶部
  • 风水神话的回帖除了对我的攻击以外吗,别的还有什么吗? 2019-06-19
  • 【三厢轿车】最新汽车报价 2019-06-19
  • 抢占公共交通支付场景 腾讯与上海地铁达成战略合作 2019-06-18
  • 候选企业:国丰新能源有限公司 2019-06-18
  • 课业繁重,新西兰高中生要减负了! 2019-06-17
  • 中国和巴基斯坦将合拍电影《天路》 2019-06-16
  • 新歌声惊现切葱歌 谢霆锋不当厨师做导师 2019-06-16
  • 1至5月我区为企业和社会减负4200余万元 2019-06-15
  • 今晚明晨战况如何 赶快来猜一猜 2019-06-14
  • 紫光阁中共中央国家机关工作委员会 2019-06-14
  • 看见什么有用?[猜想] 2019-06-13
  • 到户是建立市场经济,生产队的财产各自处理(除土地外),集体土地不只是使用权的失去,如企业向农民转让土地是永远的转让,但没有通过集体经济组织签订转让合同,集体失去 2019-06-12
  • 湖州德清东衡村:产村融合助振兴 2019-06-12
  • 湖南端午假期整体适宜出行 18日晚迎降水过程 2019-06-11
  • 世界大赛看重海归力量 “蓝武士”能否创造热血奇迹 2019-06-10
  • 824| 902| 228| 479| 527| 250| 580| 696| 147| 612|