Depuis le lancement de DeepSeek, j’ai bricolé pour créer mon propre produit.

Au début, je ne savais rien—alors j'ai utilisé un « workflow découplé » : écrire un fichier .md pour chaque petite étape, le lire, confirmer la logique, puis passer à l'étape suivante.

Puis j'ai appris à écrire du JSON, j'ai essayé de mettre des données dans LiteSQL et j'ai compris comment inspecter la base de données. Mais une fois que les données ont grossi, LiteSQL IO n'a tout simplement pas pu suivre.

Alors, mon coéquipier et moi avons migré vers Redis pour l'accélération, puis vers le streaming distribué de Kafka. J'ai même examiné RisingWave pour fonctionner directement au-dessus de Kafka.

Mais finalement, le calcul en streaming est devenu le goulot d'étranglement, donc je suis passé au traitement vectorisé avec Polars.
Et pour le stockage ? Je suis revenu à des fichiers parquet simples.

En repensant, je ne peux m'empêcher de rire—
Si j'avais juste appris à lire parquet au début, rien de tout cela ne serait arrivé 😂