Sejak DeepSeek diluncurkan, saya telah bereksperimen membangun produk saya sendiri.

Pada awalnya, saya tidak tahu apa-apa—jadi saya menggunakan "aliran kerja yang terpisah": menulis file .md untuk setiap langkah kecil, membacanya, mengonfirmasi logika, lalu melanjutkan ke langkah berikutnya.

Kemudian saya belajar menulis JSON, mencoba memasukkan data ke dalam LiteSQL, dan mencari cara untuk memeriksa database. Tapi setelah data menjadi lebih besar, IO LiteSQL tidak dapat mengimbangi.

Jadi rekan tim saya dan saya pindah ke Redis untuk percepatan, kemudian ke streaming Kafka terdistribusi. Saya bahkan melihat RisingWave untuk dijalankan langsung di atas Kafka.

Tapi akhirnya komputasi streaming itu sendiri menjadi kendala, jadi saya beralih ke pemrosesan vektorisasi dengan Polars.
Dan untuk penyimpanan? Kembali ke file parquet sederhana.

Melihat kembali, saya tidak bisa tidak tertawa—
Jika saya hanya belajar cara membaca parquet di awal, semua ini tidak akan terjadi 😂