Instructions to use plainbagel/RedFox-10.7B-v0.4-rc2 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use plainbagel/RedFox-10.7B-v0.4-rc2 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="plainbagel/RedFox-10.7B-v0.4-rc2")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("plainbagel/RedFox-10.7B-v0.4-rc2")
model = AutoModelForCausalLM.from_pretrained("plainbagel/RedFox-10.7B-v0.4-rc2", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use plainbagel/RedFox-10.7B-v0.4-rc2 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "plainbagel/RedFox-10.7B-v0.4-rc2"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "plainbagel/RedFox-10.7B-v0.4-rc2",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/plainbagel/RedFox-10.7B-v0.4-rc2

SGLang

How to use plainbagel/RedFox-10.7B-v0.4-rc2 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "plainbagel/RedFox-10.7B-v0.4-rc2" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "plainbagel/RedFox-10.7B-v0.4-rc2",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "plainbagel/RedFox-10.7B-v0.4-rc2" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "plainbagel/RedFox-10.7B-v0.4-rc2",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use plainbagel/RedFox-10.7B-v0.4-rc2 with Docker Model Runner:
```
docker model run hf.co/plainbagel/RedFox-10.7B-v0.4-rc2
```

You need to agree to share your contact information to access this model

This repository is publicly accessible, but you have to accept the conditions to access its files and content.

🦊 RedFox @PlainBagel 🦊

RedFox는 플레인베이글에서 일상 대화 능력과 Instruction Following에 초점을 두고 파인 튜닝한 언어 모델입니다.
수많은 가상 캐릭터들이 존재하는 인터랙티브 스토리텔링 플랫폼인 '피카'를 포함한 플레인베이글의 다양한 서비스에 활용될 예정입니다.

Model Access

모델 공개 여부를 내부 검토 중에 있습니다. Access 요청을 하시더라도 현재는 처리하기 어려운 점 양해 부탁드립니다.

Model Description

Language(s) (NLP): 한국어, English
License: 비공개 모델
Finetuned from: upstage/SOLAR-10.7B-v1.0

Training Data

페르소나 consistency 및 일상 대화 능력에 초점을 두기 위해 자사 서비스 '피카'의 내부 데이터(시나리오 및 캐릭터)와 유저 대화 창작 서비스인 '피카 쇼츠' 데이터를 사용했으며,
이외 HuggingFace, AI Hub, 국립국어원 등의 온라인 소스에서 오픈 라이선스 및 사용 승인을 받은 데이터셋을 사용하였습니다.

Evaluation

TBD

Background of Model name

본래 acronym들로 시작한 동물 유래의 언어 모델 / 데이터셋 이름을 참고하여, 모델을 명명할때 여우를 선택하게 되었습니다 (우리 AI팀의 리더는 여우를 매우 좋아합니다 🦊).
사용한 데이터의 성격을 고려해 보았을때 피카의 플러팅, 로맨스 대화들에서 유저가 기대하는 'redamancy'를 담아내기를 바라며, 해당 단어의 'response' 개념을 담은 라틴어 전치사 'red'를 붙여, 붉은 여우 'RedFox'로 명명하게 되었습니다.

Contact

플레인베이글 AI팀은 생성형 AI 기술을 활용하여 텍스트 기반의 다양한 콘텐츠를 더욱 몰입감 있게 경험하고 창작할 수 있도록 개발하고 있습니다.

자세한 사항은 플레인베이글 홈페이지를 참고해주세요.

Downloads last month: -

Safetensors

Model size

11B params

Tensor type

F16

Spaces using plainbagel/RedFox-10.7B-v0.4-rc2 2

Collection including plainbagel/RedFox-10.7B-v0.4-rc2

BagelLM - RedFox v0.4

Collection

BagelLM H1 training series • 5 items • Updated Feb 19, 2024