万科网络科技

一、 传统规则驱动方法

1. 基于 HTML 语义标签的提取法

   这是基础的结构化方法，利用 HTML 原生标签的语义约定，直接定位核心内容。
   • 核心原理：HTML 中部分标签自带明确的语义属性，搜索引擎爬虫可通过解析这些标签快速提取关键信息。
   • 典型应用：
     • 用 <h1>-<h6> 标签识别标题层级，优先将 <h1> 判定为网页核心标题；
     • 用 <p> 标签提取正文段落，用 <time> 标签提取发布时间；
     • 用 <article> 标签定位独立的文章内容模块，过滤掉导航栏、侧边栏等无关区域。
   • 局限性：仅适用于遵循 W3C 标准的网页，对大量使用 <div> 自定义布局的非标准网页效果差。
2. 基于 XPath/CSS 选择器的定位法

   针对非标准语义标签的网页，通过人工定义路径规则精准定位目标内容块。
   • 核心原理：XPath 是 XML/HTML 的路径查询语言，CSS 选择器是定位 HTML 元素的语法，两者均可通过 “标签 + 属性 + 层级” 的组合规则，锁定需要结构化的内容。
   • 典型应用：
     • 电商网页中，用 //div[@class="product-name"] 的 XPath 规则提取商品名称；
     • 资讯网页中，用 .article-content > p 的 CSS 选择器提取正文内容。
   • 局限性：规则的通用性差，一旦网站调整页面布局（如修改 class 属性名），原有规则会立即失效。
3. 基于模板匹配的批量结构化法

   适用于同域名下布局高度相似的网页（如新闻网站的列表页、详情页）。
   • 核心原理：先对同类型网页进行样本分析，总结出通用的结构模板，再基于模板批量提取目标字段。
   • 典型应用：某新闻网站的所有详情页都采用 “标题 + 作者 + 发布时间 + 正文” 的固定布局，可构建模板自动提取这四类信息。
   • 局限性：仅适用于同模板网页，无法处理异构布局的网页集合。

二、 现代智能模型驱动方法

1. 基于机器学习的实体识别（NER）方法

   核心是从网页文本中识别具有特定语义的实体，并分类标注，是网页内容结构化的核心技术。
   • 核心原理：通过标注的网页数据训练模型，让模型学习实体特征（如商品名、价格、日期、人名等），进而自动识别未标注网页中的目标实体。
   • 技术演进：从早期的统计模型（如 CRF 条件随机场），发展到现在的深度学习模型（如 BERT、BiLSTM+CRF），识别准确率大幅提升。
   • 典型应用：从电商页面中提取 “商品名称”“价格”“品牌”“库存” 等实体字段，形成结构化的商品信息表。
2. 基于深度学习的网页分块与语义理解法

   针对网页的视觉和逻辑结构，将页面划分为不同的语义块（如标题块、正文块、广告块、导航块），实现内容与噪声的分离。
   • 核心原理：结合网页的视觉特征（字体大小、颜色、位置）和文本特征（词频、语义），通过深度学习模型（如 CNN、Transformer）自动划分语义块。
   • 典型技术：网页 DOM 树与视觉特征融合的模型，能模拟人类浏览网页时的注意力分配，优先识别核心内容块。
   • 典型应用：过滤网页中的广告、侧边栏等噪声，只保留与主题相关的正文和标题内容。
3. 基于知识图谱的关系抽取法

   不仅提取单个实体，还挖掘实体之间的逻辑关联，实现更高维度的结构化。
   • 核心原理：通过预训练语言模型或远程监督技术，从网页文本中提取 “实体 - 关系 - 实体” 的三元组，补充到知识图谱中。
   • 典型应用：从新闻网页中提取 “事件（XX 地震）- 发生时间（XXXX 年 XX 月）- 发生地点（XX 地区）” 的关联关系，支撑智能问答和精准检索。
4. 基于视觉的网页结构化方法

   针对动态渲染的网页（如 SPA 单页应用），传统的 HTML 解析无法获取完整内容，需结合视觉渲染技术。
   • 核心原理：通过无头浏览器（如 Chrome Headless）先渲染网页，获取与用户浏览一致的视觉页面，再基于计算机视觉技术（如目标检测、图像分割）识别内容区域和字段。
   • 典型应用：处理 JavaScript 动态加载的商品列表、评论区等内容，解决 “爬虫抓取内容为空” 的问题。

三、 混合驱动方法

• 先用规则方法快速过滤明显的噪声内容（如广告、脚本），并提取结构化程度高的字段（如标题、发布时间）；
• 再用机器学习模型处理复杂的语义内容（如实体识别、关系抽取）；
• 最后通过人工校验优化模型效果，形成闭环迭代。