一个提取页面里文章部分的思路，有一说一这比写个论文有意思多了

<h1 id="heading">博客订阅功能重构</h1>
<p>随着友链交换越来越多，不支持 RSS 订阅的网站也越来越多。如果每一个网站都单独写一个爬虫维护成本太大。同时部分网站界面改得也太频繁了，每次都需要重新处理下，点名批评 <a href="https://jarviswwong.com/">@云樾</a></p>
<h2 id="heading-1">页面内容获取</h2>
<p>有些页面使用服务端渲染，有些则是客户端渲染，因此分为两种获取内容的形式。</p>
<p>首先先使用简单的 get 获取页面内容，不执行 JS，如果可以拿到内容那么万事大吉。<br>
而如果发现无法分析出结果，则说明可能这个网站是客户端渲染的，还需要加载 JS 才行。这里调用 chromedp 来实现相关的渲染。</p>
<p>为了避免页面奇怪的问题卡住，两种方式都设置了 120 秒超时<br>
为了节省维护成本，所以选择自动提取页面的标题来实现订阅</p>
<h2 id="heading-2">日期处理</h2>
<p>考虑到目前每个博客的时间格式差别比较大，还需要对不同的形式都进行检查<br>
（在这里面甚至有 <code>2021-01-1</code> 这种月份补 0，日期不补 0 的奇怪格式）</p>
<h2 id="heading-3">文章部分抓取</h2>
<h3 id="html-">HTML 内容分析</h3>
<p>这里需要的信息包含三部分</p>
<ul>
<li>文章标题</li>
<li>文章链接</li>
<li>发布/更新时间</li>
</ul>
<p>最简单的突破口就在文章链接，在 HTML 里，链接必然是个 <code>&lt;a&gt;</code> 标签。或许会有人用 <code>&lt;div&gt;</code> 实现一切，但是在跳转这方面，<code>&lt;a&gt;</code> 的语义化以及对搜索引擎爬虫的友好度是无法替代的</p>
<p>找到所有的 <code>&lt;a&gt;</code> 标签后，就面临下一个问题，哪些是文章的链接？毕竟一个正常的博客必然会有大量乱七八糟的链接，可能是跳转到特殊页面的，也可能是跳转到站外的。<br>
首先对这些标签进行分类</p>
<ul>
<li>站内导航: 跳转到首页、归档页、标签页或其他地方</li>
<li>文章跳转: 跳转到文章里</li>
<li>站外跳转: 跳转到其他网站（如友链、Github）</li>
</ul>
<p>最后一种相对比较好筛选，直接判断域名的 host 是否相同即可<br>
对于前两种可能不太好区分，毕竟每个博客文章的 URL 构成都不一样，有些站点确实和文章页很像，在这里可以考虑两种策略</p>
<ul>
<li>如果同一组的链接里包含跳转首页的链接，则这一组都不是文章</li>
<li>如果同一组的链接文字内容都很短，那么这一组都不是文章（一般来说，导航都在 4 个字左右，而文章标题通常会更长）</li>
</ul>
<p>在这里，引入了同一组标签的概念，由于页面的生成存在规律，一个优秀的页面，类似的内容必定存在类似的格式。比如如果是文章列表，那么每个文章最外层的标签必然互为邻居标签（可能会被塞进去几个广告）。从代码体现上来看，就是 xpath 路径相同，也即很可能是类似 <code>html/body/div/div/div/ul/li/div/a</code> 的形式。将所有的 <code>&lt;a&gt;</code> 标签的位置进行聚合，这样就可以实现分组。同时一般而言，如果不考虑站外（host 不同）、标签（长度一般很短）时，组内元素最多的就是文章列表（导航一般很少）</p>
<h3 id="rss-">RSS 处理</h3>
<p>上面提到的都是下策，实际上如果有 RSS 订阅，那么最省事的是直接从解析 RSS 文件</p>
<p>简单的判断思路时判断地址里是否有 <code>rss</code>、<code>atom</code>、<code>feed</code>、<code>xml</code> 的字符，如果存在则大概率时 RSS 订阅地址。</p>
<h3 id="json-">JSON 处理</h3>
<p>作为另一套预备方案，如果网站为客户端渲染，通常使用 JSON 传输网站内容，可以直接分析 JSON 数据。<br>
受限于每个网站格式不一，因此这里考虑通过如下形式寻找文章列表，优先遍历 <code>post</code>、<code>posts</code> 字段，如果存在，且这部分内容为数组或对象（虽然大概率不会，但是万一有类似 <code>{1: {}, 2: {}}</code> 的邪门歪道写法呢），那么只处理该部分字段</p>
<p>对得到的数据结构，遍历 <code>title</code> 字段。一般来说别的字段都可能会有其他叫法，标题都比较固定。</p>
<p>然后就是优先枚举 <code>url</code>、<code>link</code> 字段作为链接。如果不存在这些字段，则检查所有可能为链接的字段。</p>
<p>最后枚举所有字段并检查是否可能是时间。因为 JSON 这里有可能以时间戳形式传输，所以分别以秒计、毫秒级、微秒级、纳秒级判断时间是否为 2000 年到现在的时间段内（2000 年前的博客应该不会被抓取吧……）</p>
<p>有一种额外要考虑的就是，可能部分网站本身链接是拼接的，JSON 里不包含链接，而是只传递了一个 ID。对于这种只能寄希望于其他手段有效吧<br>
（如果一个网站，没有 RSS、页面也提取不到文章、JSON 格式还很诡异，可能站长本来就不想被爬吧……）</p>
<h2 id="heading-4">如何配置</h2>
<p>一般来说，有 RSS 优先贴 RSS</p>
<p>没有 RSS 优先贴符合规则的 JSON</p>
<p>都没有就贴归档页（archive），通常归档页比较整齐，干扰因素比较少</p>
<p>如果归档页都没有，那么去首页看缘分抓取吧……</p>
<h2 id="heading-5">结果</h2>
<p>从目前的情况来看，大部分页面都可以正常处理，部分博客由于未知原因，还需要逐步调整</p>
<h2 id="heading-6">部分已知问题</h2>
<ul>
<li><a href="https://imyshare.com/blog/">@iMyShare</a> 页面内容太复杂，经常会错误选取到其他的内容</li>
<li><a href="https://www.sanghangning.cn/">@野宁新之助</a> 不确定是不是 Docker 环境问题，总是加载失败</li>
<li><a href="https://www.ouorz.com/">@TonyHe</a> 无法识别日期，不过日期本身不影响抓取</li>
<li><a href="https://oldpan.me/">@Oldpan</a> 首页东西太乱，总是抓错，RSS 订阅头部返回格式错误。这里强制请求开启压缩可以解决</li>
<li><a href="https://yjblogs.cn/">@勇杰的博客</a> 日期不包括年份，抓取失败，不影响结果</li>
<li><a href="https://flypig.xyz/">@flypig</a> 部分 RSS 格式解析失败，不过其他的没问题（实际上即使是失败的格式，理论上再按照解析 html 的思路做一次应该也可以实现）</li>
<li><a href="https://flypig.xyz/">@极客兔兔</a> 请求失败，从测试来看，服务器上的 Docker 请求了一个 IPv6 地址，但是本地没问题，应该是 Docker 配置问题，后续可以考虑禁用 IPv6</li>
<li><a href="https://www.wanglingyue.com/">@Sky</a> 看起来没啥问题，但是服务器上总是访问失败，另外 RSS 格式有问题</li>
<li><a href="https://www.lvvl.vip/">@镜旅博客</a> 内容太复杂提取错误</li>
</ul>
<p>总得来说，问题大部分是因为首页太乱提取失败，可以考虑增加更多的判断来解决；另一部分就是 Docker 环境下奇怪的请求超时，需要进一步寻找解决方案。</p>
<p>未来可能可以考虑使用机器学习来分析，不过就目前效果来看，似乎不太必的样子，可能引入后并不会提升准确率</p>
