Відколи DeepSeek запустився, я експериментую зі створенням власного продукту.
Спочатку я нічого не знав—тому я використовував «декупльований робочий процес»: писав .md файл для кожного маленького кроку, читаю його, підтверджую логіку, а потім переходжу до наступного кроку.
Тоді я навчився писати JSON, спробував вставити дані в LiteSQL і зрозумів, як перевірити базу даних. Але як тільки дані стали більшими, LiteSQL IO просто не міг впоратися.
Отже, мій товариш по команді та я перейшли на Redis для прискорення, а потім на розподілене потокове оброблення Kafka. Я навіть розглядав RisingWave для роботи безпосередньо на основі Kafka.
Але врешті-решт обчислення потоків само стало вузьким місцем, тому я перейшов до векторизованої обробки з Polars. А що щодо зберігання? Повернулися до простих паркетних файлів.
Оглядаючись назад, я не можу не сміятися— Якби я просто навчився читати parquet на початку, нічого з цього не сталося б 😂
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Відколи DeepSeek запустився, я експериментую зі створенням власного продукту.
Спочатку я нічого не знав—тому я використовував «декупльований робочий процес»: писав .md файл для кожного маленького кроку, читаю його, підтверджую логіку, а потім переходжу до наступного кроку.
Тоді я навчився писати JSON, спробував вставити дані в LiteSQL і зрозумів, як перевірити базу даних. Але як тільки дані стали більшими, LiteSQL IO просто не міг впоратися.
Отже, мій товариш по команді та я перейшли на Redis для прискорення, а потім на розподілене потокове оброблення Kafka. Я навіть розглядав RisingWave для роботи безпосередньо на основі Kafka.
Але врешті-решт обчислення потоків само стало вузьким місцем, тому я перейшов до векторизованої обробки з Polars.
А що щодо зберігання? Повернулися до простих паркетних файлів.
Оглядаючись назад, я не можу не сміятися—
Якби я просто навчився читати parquet на початку, нічого з цього не сталося б 😂