С тех пор как DeepSeek был запущен, я занимаюсь разработкой собственного продукта.

Сначала я ничего не знал — поэтому я использовал «разъединенный рабочий процесс»: писал файл .md для каждого маленького шага, читал его, подтверждал логику, а затем переходил к следующему шагу.

Затем я научился писать JSON, попробовал поместить данные в LiteSQL и разобрался, как просматривать базу данных. Но как только данные стали больше, LiteSQL IO просто не успевал.

Итак, мой товарищ по команде и я перешли на Redis для ускорения, затем на распределенный потоковый Kafka. Я даже изучал RisingWave, чтобы запускать его прямо поверх Kafka.

Но в конечном итоге сама потоковая обработка стала узким местом, поэтому я перешел на векторизованную обработку с помощью Polars.
А для хранения? Вернулись к простым parquet-файлам.

Смотря назад, я не могу не смеяться—
Если бы я просто научился читать parquet в начале, ничего этого бы не произошло 😂