Desde que o DeepSeek foi lançado, tenho andado a experimentar construir o meu próprio produto.

No início, eu não sabia de nada—então usei um "fluxo de trabalho desacoplado": escrevi um arquivo .md para cada pequeno passo, li-o, confirmei a lógica e, em seguida, passei para o próximo passo.

Então aprendi a escrever JSON, tentei colocar dados no LiteSQL e descobri como inspecionar o banco de dados. Mas, uma vez que os dados ficaram maiores, o LiteSQL IO simplesmente não conseguiu acompanhar.

Então, meu colega de equipe e eu mudamos para Redis para aceleração, depois para streaming distribuído de Kafka. Eu até olhei para RisingWave para rodar diretamente em cima do Kafka.

Mas eventualmente a própria computação em streaming tornou-se o gargalo, então passei para o processamento vetorizado com Polars.
E quanto ao armazenamento? Fui até arquivos parquet simples.

Olhando para trás, não consigo deixar de rir—
Se eu tivesse aprendido a ler parquet no início, nada disto teria acontecido 😂