Заметил интересное движение в AI-сообществе. Команда LlamaIndex недавно выложила в открытый доступ исходный код своего парсера LiteParse, и это может серьёзно упростить жизнь разработчикам, работающим с поиском и обработкой документов.

Получилось, что Clelia вместе с ребятами из LanceDB (в частности @tech_optimist) разобрались, как оптимизировать весь процесс работы агентов с информацией. Ключевая идея в том, что LiteParse позволяет парсить файлы и вытаскивать скриншоты на уровне отдельных страниц. Это даёт намного больше контроля над тем, как именно текст будет разбиваться на куски и как создаваться эмбеддинги.

Практически это означает, что вместо стандартного подхода к chunking'у, можно использовать более умный парсер от LlamaIndex, который лучше понимает структуру документов. Особенно полезно для сложных форматов типа PDF с таблицами и изображениями.

Для тех, кто работает с RAG системами или строит агентов на LlamaIndex, это выглядит как хороший апгрейд. Открытие кода означает, что можно не только использовать готовое решение, но и адаптировать LiteParse под свои нужды. Стоит посмотреть, если вы занимаетесь поиском и индексированием документов.