Відколи DeepSeek запустився, я експериментую зі створенням власного продукту.



Спочатку я нічого не знав—тому я використовував «декупльований робочий процес»: писав .md файл для кожного маленького кроку, читаю його, підтверджую логіку, а потім переходжу до наступного кроку.

Тоді я навчився писати JSON, спробував вставити дані в LiteSQL і зрозумів, як перевірити базу даних. Але як тільки дані стали більшими, LiteSQL IO просто не міг впоратися.

Отже, мій товариш по команді та я перейшли на Redis для прискорення, а потім на розподілене потокове оброблення Kafka. Я навіть розглядав RisingWave для роботи безпосередньо на основі Kafka.

Але врешті-решт обчислення потоків само стало вузьким місцем, тому я перейшов до векторизованої обробки з Polars.
А що щодо зберігання? Повернулися до простих паркетних файлів.

Оглядаючись назад, я не можу не сміятися—
Якби я просто навчився читати parquet на початку, нічого з цього не сталося б 😂
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
0/400
Немає коментарів
  • Закріпити