Autenticação

Para acessar conjuntos de dados privados ou restritos, é necessário autenticar-se primeiro. A autenticação funciona por meio da fornecimento de um token de acesso, que será usado para autenticar e autorizar seu acesso a conjuntos de dados restritos e privados. O primeiro passo é criar um token de acesso para sua conta. Isso pode ser feito visitando Hugging Face Settings - Tokens.

Existem três maneiras de fornecer o token: definindo uma variável de ambiente, passando um parâmetro para o leitor ou usando o CLI do Hugging Face.

Variável de ambiente

Se você definir a variável de ambiente HF_TOKEN, o Polars a usará automaticamente ao solicitar datasets do Hugging Face.

export HF_TOKEN="hf_xxxxxxxxxxxxx"

Parâmetros

Você também pode fornecer explicitamente o token de acesso ao leitor (por exemplo, read_parquet) por meio do parâmetro storage_options. Para uma visão geral completa de todos os parâmetros, consulte o guia de referência da API.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

Alternativamente, você pode usar o Hugging Face CLI para se autenticar. Após fazer login com sucesso usando hf auth login, um token de acesso será armazenado no diretório HF_HOME, que por padrão é ~/.cache/huggingface. O Polars usará esse token para autenticação.

Se vários métodos forem especificados, eles são priorizados na seguinte ordem:

• Parâmetros (storage_options)
• Variável de ambiente (HF_TOKEN)
• CLI