Demostración de 'Chatear con RTX': el chatbot de IA de Nvidia se ejecuta de forma nativa en RTX 30 y 40 después de la descarga

después Anuncio en enero Nvidia lanzó hoy “Chat with RTX” para que todos lo descarguen, aunque solo los propietarios de GeForce RTX 3000 o GeForce RTX 4000 podrán ejecutar el chatbot AI. El modelo de lenguaje grande se puede alimentar con sus propios datos.

Tamaño de descarga de 50 a 100 GB

Chat con RTX está basado en el SDK TensorRT Y acelere los cálculos utilizando núcleos Tensor en las GPU Ampere y Ada Lovelace.

El tamaño de descarga inicial es de 35,1 GB, pero dependiendo de los modelos seleccionados durante el proceso de instalación, eventualmente se necesitarán entre 50 y 100 GB. La instalación puede tardar entre 30 y 60 minutos. La demostración se puede realizar a través de un Sitio web del desarrollador puede conseguirlo.

De fábrica, Chat with RTX utiliza el modelo de lenguaje grande Mistral 7B int4 y tiene acceso local a una carpeta que contiene publicaciones de blog sobre noticias de GeForce sobre las que los usuarios pueden hacer preguntas a través de Chat with RTX. Alternativamente, puede seleccionar su propio contenido (documentos, notas, videos, archivos de audio), aunque agregar contenido nuevo lleva tiempo para permitir que el modelo integre los datos, según la configuración del sistema y el tipo y tamaño de los archivos.

Otra opción es generar scripts de YouTube a través de la interfaz de usuario, que luego se pueden “consultar” mediante el chat con el RTX. Chat with RTX también proporciona un enlace al vídeo que se encuentra en la respuesta.

Los datos personales no van a la nube

Al ejecutar el modelo localmente, Nvidia promete que los datos estarán seguros:

Y como todo se ejecuta localmente en su PC o estación de trabajo con Windows RTX, obtendrá resultados rápidos y seguros.

Lo que Chat with RTX aún no puede hacer es vincular preguntas: “¿Cuándo apareciste?” No responda, incluso si pregunta “¿Cuánto cuesta una GeForce RTX 4080?” pre.