Autor: Albert Gil López

Un data connector, o Reader, ingiere datos de diferentes fuentes de datos y formatos a un objeto Document. Cuando estas trabajando en producción se recomienda utilizar los data connector que ofrece LlamaIndex a través de LlamaHub, un repositorio open-source que contiene data loaders que puedes integrar fácilmente en tu aplicación para diferentes casos de uso.…

Puedes seguir el artículo y descargar el código en este notebook subido en GitHub. SimpleDirectoryReader es la manera más sencilla de cargar datos de archivos locales en LlamaIndex. Para casos de uso en producción la documentación recomienda utilizar uno de los Readers disponibles en LlamaHub, pero SimpleDirectoryReader es una buena manera de empezar. Este módulo…

Puedes seguir el artículo y descargar el código en este notebook subido en GitHub. En muchos casos, especialmente cuando tenemos que tratar con documentos largos, un chunk o fragmento de texto puede caracer del contexto necesario para eliminar la ambigüedad entre ese fragmento y otros del mismo Document. Un método para abordar esto es etiquetar manualmente cada…

Puedes seguir el artículo y descargar el código en este notebook subido en GitHub. Ahora vamos a ver diferentes maneras de personalizar un objeto Document. La clase Document es una subclase de TextNode que hereda de BaseNode, que en última instancia es una clase subclase de BaseModel la cual depende Pydantic, la librería de validación de datos…

Los objetos Document son abstracciones clave dentro de LlamaIndex. Un Document es un contenedor genérico para cualquier fuente de datos, por ejemplo, un PDF, el output de una API o datos recuperados de una base de datos. Se pueden construir manualmente, o crearse automáticamente via data loaders, también conocidos como Data Connectors (LlamaHub). Por defecto,…