网站优化

seo
黑帽快排关于网站优化的知识汇聚,做好网站基础的优化是做出网站排名的前提.
首页 > 网站优化 > 正文内容

网站抓取,不存在的目录与页面的原因,怎么办?

admin1个月前 (09-18)网站优化34

网站抓取这个指标对于做seo来说很重要,没有抓取也就谈不上有收录,但我们在做网站抓取检测时,也经常会看到一些404返回码,这些页面在我们网站中根本都是不存在的,那么,网站抓取,不存在的目录与页面的原因,怎么办?

根据对百度搜索引擎的研究,我们认为:

1.网站为什么抓取一些不存在的页面?

网站被抓取了不存在页面是有很多因素导致的,比如:

①页面删除

有很多时候,网站在优化过程中需要做调整,而你调整的页面并不一定都的没有被搜索引擎抓取的,有时,你看到的页面是没有被索引,但实际上这些页面有可能正在进行评估,所以一段时间后,蜘蛛仍然会抓取这些页面。

②老域名

还有时,我们做seo,为了更快做出效果,而采用老域名,然而老域名肯定是有建站历史的,不然我们也不会选择,有历史也大概率会自带蜘蛛,而蜘蛛是有记忆的,因此其总是爬行一些老url,所以说购买老域名有利有弊,不过还是利大于弊。

③恶意扫描

当然,有时,我们的域名没有问题,也没有删除任何页面,依然会有不存在的页面被抓取,这时,你需要观察,这些抓取的ip是否有一定规律,有很多时候,我们网站会面临着各种需求的扫描,比如,漏洞扫描、文章采集等抓取,而这些ip如果有规律,大概率是扫描漏洞。

2.如何处理抓取不存在页面

了解了一些抓取不存在页面的原因,那么,我们如何解决这些问题呢?

①robots

首先我们知道,这些不存在页面反复被抓取,是需要我们自己做出措施,告诉蜘蛛,这些页面不允许抓取,我们可以利用Robots协议来禁止这些页面抓取,通常对于大部分蜘蛛来说,这种方式是有效的,因为这个是所有正规搜索引擎都需要遵守的协议。

②提交死链

如果依旧有被反复抓取的问题,你可以查看这些页面是否有残存的百度快照,如果有快照,蜘蛛会反复抓取,因为你屏蔽的是没有被索引的页面,而这些页面已经被索引,我们可以汇总这些页面url,通过资源平台提交死链。

③屏蔽ip

当然以上方式,都对各大搜索引擎蜘蛛所做的策略,如果是被恶意扫描,或非搜索引擎蜘蛛抓取了怎么办?

我们认为,最直接的方式是屏蔽这些ip,你可以通过修改服务器中的文件来实现这个功能:

1)云主机

下载.htaccess文件,直接修改,并上传覆盖原文件即可。

2)宝塔

到宝塔后台找到安全选项,选择防火墙,在防火墙中选择屏蔽该ip即可。

3)插件

现在各大cms系统,都推出了各种功能插件,我们可以直接搜索屏蔽ip来找到插件,进行ip屏蔽。


扫描二维码推送至手机访问。

版权声明:本文由黑帽快排发布,如需转载请注明出处。

转载请注明出处http://www.zoseo.cn/31.html

分享给朋友:

相关文章

为什么网站优化排名是一个永不停止的过程?

为什么网站优化排名是一个永不停止的过程?

百度算法一直都处于不断的变化当中,要想在做网站优化排名过程中保持稳定,还是要不断的去钻研新的算法,始终与百度搜索引擎方面保持一致,这就意味着在做网站排名的过程中就是一个永不停止的过程。为什么会这么说呢...

论坛流量怎么做,为什么排名不理想?

论坛流量怎么做,为什么排名不理想?

做一个论坛,聚一群志同道合的朋友讨论自己喜欢的事情,是很多朋友的梦想,但现实是搭建一个论坛容易,管理起来却十分麻烦,同时将论坛流量做起来更难,那么,论坛流量怎么做,为什么排名不理想?根据做seo公司的...

优秀的SEO优化人员需要具备哪些能力?

优秀的SEO优化人员需要具备哪些能力?

目前,专业做网站seo优化的技术人员越来越多,无形当中形成了激烈的竞争,都是靠着自己的技术来脱颖而出的。因此,要想在诸多的seo人员中脱颖而出,关键还是要在优化方面具备相应的能力,这样才能够在网站优化...

网站栏目内页SEO优化技巧

网站栏目内页SEO优化技巧

网站seo优化工作真的是一项很重要的工作,做得好你的网站排名就好,就能够被许多用户搜索到。我们在对企业网站进行优化时不能只顾着首页,网站每一个细节的优化过程都会对最终整个网站的seo优化结果产生影响。...

如何在网站建设的同时,进行SEO优化基础工作?

如何在网站建设的同时,进行SEO优化基础工作?

SEO优化是一项贯穿网站整个周期的工作,从开始建站时就需要把影响SEO优化的因素考虑进去,这是很多新手同学都容易忽略的。就和我们建房子一样,前期房子的地桩要打好,后面才能平地起高楼。做网站SEO也是如...

网站结构优化的方式

网站结构优化的方式

1、企业网站的程序企业网站一般涉及的内容不多,只需要做好网站结构和内部布局,一般就可以完成SEO工作的40%,上海古玩拍卖表示这里推荐DEDE CMS程序和易企CMS,主要是模板修改相对比较简单,对网...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。
现在,非常期待与您的又一次邂逅

我们努力让每一次邂逅总能超越期待