月饼 TV 的技术架构

https://github.com/MoonCakeTV/MoonCakeTV

在构建 月饼 TV 的过程中，我的目标是：为用户提供快速、稳定的搜索体验。但背后涉及的数据源复杂、数据量庞大，如何处理、存储和查询，是一套需要不断优化的技术工程。本文将介绍目前的技术架构和关键优化步骤。

数据来源与采集

所有数据都来自各类资源站。最初我通过手动采集，但很快转向了自动化。

• 采集调度：使用 Temporal 来管理 worker 流程。

• 执行频率：每天运行 3 次，每 8 小时一次。（这是以前的安排，现在是每天一次）

• 存储目标：采集下来的数据先写入 Cloudflare D1 数据库。

• 目前已经累计存储 114 万条信息。采集这一步过去需要 6 小时，现在优化后缩短至 5.5 小时。

搜索的痛点与演进

• 最初的搜索 API 很原始：

  • 直接在 Cloudflare D1 上执行 SQL 查询。

  • 返回结果往往需要 20 秒甚至更久，对用户体验极差。

• 后来我引入了 Meilisearch：

  • 数据通过 Temporal worker 从 D1 导出，再写入到 Meilisearch 。

  • Meilisearch 部署在独立 VPS 上，性能显著提升。

数据处理流程（ Pipeline ）

目前的完整数据流是这样的：

数据源 ---> Temporal Worker ---> Cloudflare D1
          ---> Temporal Worker ---> Meilisearch
          ---> Cloudflare Worker API

• 第一阶段：从资源站获取数据，存入 D1 （ 5.5 小时）。

• 第二阶段：从 D1 导出数据，插入 Meilisearch （ 12.5 小时）。

• 调度策略：每天只跑一次。先运行采集 worker ，8 小时后再运行导入 worker ，避免冲突。

• 虽然性能不算出色，但每天更新一次，已经能满足需求。

搜索 API 的优化

我在 Cloudflare Worker API 里加了一些增强功能：

• 缓存机制：

  • 基于 Cloudflare KV

  • 相同关键词结果缓存 4 小时 （毕竟数据也才 24 小时更新一次）

  • 显著减少 Meilisearch 的压力

• 访问控制：（四舍五入等于没有，请大家不要刷数据，服务器挂了的话，影响大家使用）

  • 每个 IP 每分钟最多 30 次请求

  • 无需注册

  • 无 CORS 限制

这样一来，用户体验基本可用，同时避免了服务过载。

基础设施配置

• Meilisearch VPS

  • 32GB 内存，2TB 硬盘

  • 单机部署，无备份

• Temporal VPS

  • 独立运行，调度两个 pipeline

• Cloudflare Worker API

  • 作为前端访问入口

  • 提供统一的搜索接口

挑战与展望

目前系统仍然有一些问题：

• Pipeline 慢：导入 Meilisearch 需要 12.5 小时，后续需要优化批量写入和并发。

• 无备份：如果 VPS 出问题，Meilisearch 数据需要重新导入，恢复时间较长。

• 高负载风险：请求过多时，Meilisearch 容易被打挂。毕竟我的防护约等于没有

未来我考虑：

• 优化 Temporal worker 的并发能力

• 引入分布式存储或自动备份机制

• 不用 cloudflare d1 ，使用自己搭建的 postgresql ，性能可以得到很大提升

• 加强防护，避免恶意刷请求

总结

月饼 TV 的技术架构虽然还在不断打磨，但已经走过了一条从“能跑”到“能用”的路：

• Temporal 负责数据调度与可靠运行

• Cloudflare D1 存储基础数据

• Meilisearch 提供高效的搜索体验

• Cloudflare Worker + KV 作为搜索 API 的缓存与限流层

这套体系支撑了每天百万级的数据更新与快速搜索，积累了不少经验。

大家有什么意见和建议，请不吝赐教