AI-cademy

La técnica de Segmentación de Prompts Extensos (Long-Prompt Segmentation) es esencial en el ámbito de Modelos de Lenguaje (ML) cuando se enfrenta a la limitación de tokens . Los modelos tienen una capacidad máxima de procesar un cierto número de tokens en una sola entrada. Cuando se trabaja con textos extensos que exceden este límite, es necesario dividirlos en segmentos más pequeños para que puedan ser procesados de manera efectiva. La técnica implica dividir un texto largo en fragmentos más pequeños, generalmente párrafos o secciones coherentes, y luego presentar estos segmentos al modelo uno por uno. Cada segmento se considera como una "entrada" independiente, y el modelo genera una respuesta para cada uno de ellos. De esta manera nos aseguramos de que el modelo pueda manejar textos largos sin superar el límite de tokens, al tiempo que mantiene la coherencia y el contexto en la generación de respuestas. El proceso de segmentación debe ser cuidados...

Los Tokens son la unidad básica que utilizan los Modelos de Lenguaje para calcular la longitud de un texto. El token generalmente corresponde a 4 caracteres en inglés. Puede ser tan corto como un carácter o tan largo como una palabra. Por ejemplo, en la frase "Hello, How are you?", hay seis tokens: Los tokens dependen del idioma. Las palabras en español tienden a tener una proporción más alta de token por carácter, lo que hace que sea más costoso implementar la API. Por ejemplo, en la misma frase pero en español "Hola, ¿cómo estás?", se presentan once tokens: La cantidad de tokens en una solicitud o respuesta es importante ya que afecta el costo, el tiempo de procesamiento y la viabilidad de uso de los modelos de lenguaje. Los modelos tienen un límite de tokens que pueden manejar en una sola interacción, por lo que es esencial considerar la longitud de los prompts al diseñar con...