搜索引擎蜘蛛（爬虫）的爬行限制汇总

一、站长主动配置类限制（人为可控，正规爬虫会主动遵守）

1. robots.txt 协议（全站 / 目录级管控）

   放在网站根目录的协议文件，是蜘蛛首先读取的规则：
   • Disallow：禁止蜘蛛抓取指定目录、单页面、后台、附件、图片等资源；
   • Allow：在禁止目录中单独放行部分页面；
   • 支持通配符 *、后缀匹配 $，可批量拦截动态页面、接口、隐私目录。
     注意：该协议仅为约定规则，恶意爬虫会无视，但百度、搜狗、360、谷歌等正规搜索引擎爬虫均严格遵守。
2. Meta Robots 页面标签（单页面精细控制）

   写在 HTML 页面头部，针对单个页面设置爬行与收录规则，常用指令：
   • noindex：允许爬行，但不参与索引收录；
   • nofollow：允许访问页面，但不追踪页面内的链接，阻断蜘蛛向外 / 向内爬行；
   • noarchive：禁止搜索引擎生成页面快照；
   • nosnippet：禁止展示页面摘要。
3. X-Robots-Tag 响应头

   针对非 HTML 资源（PDF、图片、视频、接口文件等）的抓取限制，通过服务器 HTTP 响应头设置，弥补 Meta 标签无法作用于文件资源的短板。
4. 链接 Nofollow 属性

   给 <a> 链接添加 rel="nofollow"/rel="ugc"/rel="sponsored"，蜘蛛不会顺着该链接继续爬行，也不会传递权重。整站大量使用该属性，会直接缩小蜘蛛的爬行范围。
5. Canonical 规范标签（间接限制）

   用于解决重复 URL 问题，引导蜘蛛优先抓取规范页面，主动忽略同源重复页面，相当于间接限制了重复内容的爬行与收录。

二、访问权限与人机验证限制（设置访问门槛，爬虫无法正常进入）

1. 登录 / 会员墙
   内容、栏目必须注册、登录、开通会员才能查看，爬虫没有账号权限，抓取内容为空或直接被拦截。
2. 人机验证
   滑块验证、图形验证码、短信验证、行为风控等，是目前阻断爬虫常见的方式，公开内容页面添加验证会直接导致无法爬行。
3. IP 区域限制
   服务器设置仅允许特定地区 IP 访问，搜索引擎爬虫的 IP 段不在放行范围内，直接拒绝连接。

三、服务器 & 主机资源限制（被动硬性限制，收录受阻的高频原因）

1. HTTP 异常状态码

   蜘蛛请求页面时返回异常状态码，会直接放弃抓取：
   • 403：服务器禁止访问；404：页面不存在；408：请求超时；
   • 500/502/503：服务器内部错误、服务不可用。
     若整站长期出现 5xx 服务器错误，搜索引擎会持续降低爬行频次，甚至暂停抓取。
2. 页面加载超时

   爬虫有固定的加载超时阈值（主流引擎一般为 10~30 秒），服务器带宽不足、资源臃肿、磁盘 IO 满载，页面长时间加载不完，蜘蛛会终止本次抓取。
3. 防火墙 / WAF 拦截

   云防护、服务器防火墙、安全插件（宝塔、云服务商 WAF 等）误判爬虫 IP 段为攻击流量，直接拉黑 IP、限制并发连接，蜘蛛完全无法访问站点。
4. 并发与连接数限制

   低配主机、虚拟主机会限制单 IP 大连接数，搜索引擎多线程并发抓取时，连接被服务器拦截。
5. 共享资源挤压

   虚拟主机、同机云服务器受其他站点影响，带宽、CPU 被占用，自身站点响应卡顿，间接限制爬行。

四、网站技术架构限制（代码 / 页面形态导致抓取不全）

1. 前端 JS 渲染障碍（SPA 单页应用）

   百度、谷歌虽已支持解析 JS，但复杂异步加载、懒加载、动态弹窗、延时渲染的内容，爬虫仍无法正常获取；JS 渲染耗时过长也会触发加载超时。
2. 老旧淘汰技术

   Flash、ActiveX、Java 插件等过时组件，主流搜索引擎爬虫不再解析，对应内容完全抓取不到。
3. URL 结构缺陷
   • URL 参数过多、地址过长：爬虫降低抓取优先级，减少访问；
   • 动态参数泛滥：生成海量重复 URL，爬虫为规避重复内容主动缩减爬行量；
   • 无限分页 / 无限下拉：形成 “无限页面”，爬虫无法完整遍历。
4. 链接 / 目录层级过深

   页面目录层级超过 4 层、内链跳转路径过长，爬虫抓取意愿大幅下降，深层页面基本不会被爬行。
5. 跳转异常

   大量 302 临时跳转、跳转链过长、跳转循环、恶意跳转，蜘蛛会停止追踪链接，中断爬行路径。
6. Cookie/Session 依赖

   页面必须携带 Cookie、会话 ID 才能正常展示内容，而爬虫默认不携带本地 Cookie，最终抓取到空白或异常内容。

五、搜索引擎自身策略限制（平台规则，站长无法直接修改，仅可优化适配）

1. 抓取预算（Crawl Budget）

   每个域名会被搜索引擎分配固定配额：每日大抓取页数、并发连接数、爬行频率，配额耗尽后，当天不再对该站点爬行。

   配额高低取决于：域名权重、站点信誉、服务器稳定性、内容质量、页面体量。新站、低质站、不稳定站点抓取预算极低。
2. 爬行频率动态调控

   搜索引擎会根据站点状态自动调整爬速：站点频繁报错→主动降速、减少抓取；站点稳定、内容优质→提高爬行频次。
3. 新站沙盒机制

   全新域名、新上线站点会进入沙盒观察期，期间爬行速度慢、收录延迟、抓取量少，属于常规风控限制。
4. 站点处罚与降权

   站点存在黑帽 SEO、挂马、违规内容、大量采集、恶意作弊等行为，被搜索引擎处罚后，会大幅缩减爬行范围，严重时直接停止抓取。
5. 重复内容过滤

   全站或大量页面与互联网已有内容高度重合（镜像站、纯采集站），爬虫会选择性抓取少量页面，不再遍历全站。
6. 低质内容筛选

   空页面、纯广告页、低质伪原创、无价值内容，爬虫会自动降低优先级，优先跳过这类页面。

六、其他补充限制

1. HTTPS 配置异常：SSL 证书过期、证书不合法、页面混合 HTTP/HTTPS 资源，导致爬虫抓取异常；
2. 移动端适配故障：移动端页面错乱、跳转错误，移动端爬虫爬行受阻；
3. 爬行入口缺失：站点外部外链、首页入口链接过少，蜘蛛缺少进入栏目 / 页面的通道，间接限制爬行范围。

简单区分与优化方向

• 主动限制：robots、nofollow、验证墙等，按需合理设置即可，避免误拦截正常爬行；
• 被动限制：服务器报错、JS 渲染、URL 混乱、抓取预算不足，是 SEO 优化的核心突破点，优先修复服务器与站点架构问题，再提升内容质量以获取更高抓取配额。
•