DeepSeekがローンチして以来、自分の製品を作ることに取り組んでいます。

最初は何もわからなかったので、「デカップルドワークフロー」を使用しました：すべての小さなステップのために.mdファイルを書き、それを読み、ロジックを確認し、次のステップに進みました。

それから、JSONを書くことを学び、データをLiteSQLに入れてみて、データベースを検査する方法を考え出しました。しかし、データが大きくなると、LiteSQL IOは全く追いつけませんでした。

それで、私のチームメイトと私は加速のためにRedisに移動し、その後分散Kafkaストリーミングに移行しました。私はKafkaの上で直接実行するためにRisingWaveにも目を向けました。

しかし、最終的にストリーミング計算自体がボトルネックとなったため、私はPolarsを使用したベクトル化処理に移行しました。
そしてストレージについては？シンプルなパーケットファイルに戻りました。

振り返ると、笑わずにはいられない。
最初にパーケットの読み方を学んでいれば、こんなことにはならなかったでしょう 😂