Заметив цікаву тенденцію в спільноті AI. Команда LlamaIndex нещодавно опублікувала відкритий код свого парсера LiteParse, і це може суттєво спростити життя розробникам, які працюють із пошуком та обробкою документів.

Вийшло так, що Clelia разом із хлопцями з LanceDB (зокрема @tech_optimist) розібралися, як оптимізувати весь процес роботи агентів з інформацією. Ключова ідея полягає в тому, що LiteParse дозволяє парсити файли і витягувати скріншоти на рівні окремих сторінок. Це дає набагато більше контролю над тим, як саме текст буде розбиватися на частини і як створювати ембеддинги.

Практично це означає, що замість стандартного підходу до chunking'у, можна використовувати більш розумний парсер від LlamaIndex, який краще розуміє структуру документів. Особливо корисно для складних форматів типу PDF з таблицями та зображеннями.

Для тих, хто працює з RAG системами або створює агентів на LlamaIndex, це виглядає як хороший апгрейд. Відкриття коду означає, що можна не тільки використовувати готове рішення, але й адаптувати LiteParse під свої потреби. Варто подивитися, якщо ви займаєтеся пошуком і індексуванням документів.