ChatUI en Spaces

HuggingChat es una interfaz de código abierto que permite a cualquier persona probar modelos de lenguaje de gran tamaño de código abierto, como Falcon, StarCoder y BLOOM. Gracias a una plantilla oficial de Docker llamada ChatUI, puedes desplegar tu propio HuggingChat basado en el modelo que elijas con solo unos clics, utilizando la infraestructura de Hugging Face.

Despliega tu propia interfaz de chat

Para comenzar, simplemente diríjase aquí. En el backend de esta aplicación, se utiliza text-generation-inference para una inferencia de modelos mejor optimizada. Dado que estos modelos no pueden ejecutarse en CPUs, puede seleccionar la GPU según el modelo que elija.

Debes proporcionar un endpoint de MongoDB donde se escribirán tus chats. Si dejas esta sección en blanco, tus registros se persistirán en una base de datos dentro del Space. Ten en cuenta que Hugging Face no tiene acceso a tus chats. Puedes configurar el nombre y el tema del Space proporcionando los parámetros application name y application color. A continuación, puedes seleccionar el ID de Hugging Face Hub del modelo que deseas servir. También puedes cambiar los hiperparámetros de generación en el diccionario de abajo en formato JSON.

Nota: Si deseas desplegar un modelo con acceso restringido o un modelo en un repositorio privado, simplemente proporciona HF_TOKEN en los secretos del repositorio. Debes establecer su valor como un token de acceso que puedes obtener aquí.

Una vez completada la creación, verás Building en tu Space. Una vez construido, ¡puedes probar tu propio HuggingChat!

¡Empieza a chatear!

Leer más

• HF Docker Spaces
• Repositorio de GitHub de chat-ui
• repositorio de GitHub de text-generation-inference

Update on GitHub