GGUF?
Muligheter for GGUF på denne
kan du prøve å lage det og komme med tilbakemelding på hvordan det gikk
du trenger ollama og laste ned safetansor filene
du kan bruke ollama create kommandoen for å lage gguf modellen.
I modellfilen til denne modellen må du legge til dette øverst
FROM /path/to/safetensors/directory
OBS har ikke prøvd dette selv, bare en antagelse at det vil fungere
ref : https://github.com/ollama/ollama/blob/main/docs/import.md
Hei,
Ikke helt det du spør om, men du kan prøve å lage dem selv ja. Dette prosjektet ser ut til å være en enkel måte å gjøre det på - har ikke testet det selv, men ser lovende ut. Bare legg inn repo-URL'en, sett at den skal lage et privat repo (så du ikke publiserer andres modeller selv), og napp filene ut derfra. Så kloner du dette repoet (NorwAI/NorwAI-Mixtral osv), lager en PR-branch (Files and versions -> Contribute), puller ned den, legger inn filer og lager en PR. Verdt å teste!
Ellers kan man bruke llama.cpp til å kompilere manuelt, jeg som har gjort det før for enkelte av disse modellene (de som i dag heter "overfitting", som var de første instruct-versjonene). Dersom du ikke får det til, ping denne tråden igjen så kan jeg se om jeg kan fikse det.
(PS: jeg jobber ikke for NorwAI, grunnen til at jeg er tagget som del av teamet var at jeg var del i et prosjekt som fikk tidlig tilgang til modellene.)