自从DeepSeek推出以来,我一直在尝试构建我自己的产品。



起初,我一无所知——所以我使用了一个“解耦工作流”:为每一个小步骤写一个.md文件,阅读它,确认逻辑,然后进入下一个步骤。

然后我学会了编写JSON,尝试将数据放入LiteSQL,并弄清楚如何检查数据库。但一旦数据变得更大,LiteSQL IO就无法跟上了。

所以我的队友和我移到了Redis进行加速,然后转向分布式Kafka流处理。我甚至考虑过RisingWave直接在Kafka上运行。

但最终流计算本身成为了瓶颈,所以我跳到了使用 Polars 的向量化处理。
那么存储呢?回到了简单的parquet文件。

回想起来,我忍不住笑——
如果我一开始就学会了如何读取parquet,这一切就不会发生了😂
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
0/400
暂无评论
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)