Chat with RTX: el ChatGPT de NVIDIA donde necesitas una GeForce RTX 30 o 40 para su uso

NVIDIA anunció el lanzamiento de su propio chatbot, el cual recibe el nombre de Chat With RTX. La principal diferencia al resto, es que sólo se puede usar en ordenadores Windows 11 con la librería TensorRT-LLM. Es decir, que este chatbot se ejecuta localmente con los Tensor Core de tu GPU NVIDIA GeForce RTX. Hay bien, hay un requisito muy caro, que implica compatibilidad con las gráficas GeForce RTX 40 y RTX 30 Series. Esto implica que no es compatible con ninguna GeForce RTX 20 Series y, menos aún, con cualquier GPU de la serie GeForce GTX.

La demo tecnológica Chat with RTX está construida a partir del proyecto de referencia para desarrolladores TensorRT-LLM RAG disponible en GitHub. Los desarrolladores pueden utilizar esa referencia para desarrollar y desplegar sus propias aplicaciones basadas en RAG para RTX, aceleradas por TensorRT-LLM.

Un vistazo de cerca a lo que te ofrece el NVIDIA Chat With RTX

Si no tienes tiempo para ver el vídeo, básicamente NVIDIA Chat With RTX te permite tener tu propio chatGPT con un modelo de lenguaje LLM personalizado. La demo, acelerada por TensorRT-LLM, permite a los usuarios interactuar rápidamente con tus notas, documentos y otros contenidos. También estará disponible como proyecto de referencia de código abierto. Gracias a ello estos pueden implementar fácilmente las mismas capacidades en sus propias aplicaciones.

¿Para qué me sirve realmente? una vez descargado e instalado en tu PC, Chat with RTX puede leer todos los documentos de tu PC (.txt, .pdf, .doc, .docx, .xml) y conectarlo a un modelo de lenguaje grande como Mistral y Llama 2. Esto te permitirá hacerte trabajos, resumir o simplificar información, entre otros ejemplos. Estos documentos se pueden complementar con URLs específicas para mejorar aún más la precisión de la información.

También puedes añadir la URL de un vídeo de YouTube y pedirle información concreta sobre lo que se habla en ese vídeo. Ideal por si no está traducido en tu idioma y no lo entiendes, o es un vídeo extenso y quieras que te resuma toda la información que contiene dicho vídeo.

"Chat with RTX admite varios formatos de archivo, como texto, pdf, doc/docx y xml. Sólo tienes que dirigir la aplicación a la carpeta que contiene tus archivos y los cargará en la biblioteca en cuestión de segundos. Además, puedes proporcionar la URL de una lista de reproducción de YouTube y la aplicación cargará las transcripciones de los vídeos de la lista, permitiéndote consultar el contenido que cubren".

Estos son los requisitos que deberá cumplir tu PC para ejecutar esta tecnología

Los requisitos para poder usar el NVIDIA Chat with RTX pasan por tener Windows 11 junto a los controladores gráfico NVIDIA GeForce 535.11 WHQL hacia delante. A nivel de hardware, necesitarás tener 16 GB de memoria RAM, y una GeForce RTX 40 o RTX 30 Series. Eso sí, con 8 GB de VRAM. De esta forma, una RTX 3050 e incluso una RTX 3060 6 GB se queda fuera de estos requisitos. Tampoco es que sea algo preocupante teniendo acceso gratuito a ChatGPT 3.5, o ChatGPT 4 por medio de Copilot de Microsoft.

Puedes descargar el Chat with RTX desde la web oficial de NVIDIA.