Langfuse di Spaces

Panduan ini menunjukkan cara Anda mendeploy Langfuse di Hugging Face Spaces dan mulai menginstrumen aplikasi LLM Anda untuk observabilitas. Integrasi ini membantu Anda bereksperimen dengan API LLM di Hugging Face Hub, mengelola prompt Anda di satu tempat, dan mengevaluasi output model.

Apa itu Langfuse?

Langfuse adalah platform rekayasa LLM open-source yang membantu tim untuk bersama-sama melakukan debug, evaluasi, dan iterasi pada aplikasi LLM mereka.

Fitur utama Langfuse mencakup pelacakan LLM untuk menangkap konteks lengkap dari alur eksekusi aplikasi Anda, manajemen prompt untuk iterasi prompt yang terpusat dan kolaboratif, metrik evaluasi untuk menilai kualitas output, pembuatan dataset untuk pengujian dan benchmarking, serta playground untuk bereksperimen dengan prompt dan konfigurasi model.

Video ini adalah tur 10 menit tentang fitur-fitur Langfuse:

Mengapa Observabilitas LLM?

• Seiring dengan semakin populernya model bahasa, memahami perilaku dan kinerjanya menjadi penting.
• Observabilitas LLM melibatkan pemantauan dan pemahaman keadaan internal aplikasi LLM melalui outputnya.
• Hal ini sangat penting untuk mengatasi tantangan seperti:
  • Alur kontrol kompleks dengan panggilan berulang atau berantai, yang membuat proses debugging menjadi menantang.
  • Output yang tidak deterministik, yang menambah kompleksitas pada penilaian kualitas yang konsisten.
  • Niat pengguna yang beragam, yang memerlukan pemahaman mendalam untuk meningkatkan pengalaman pengguna.
• Membangun aplikasi LLM melibatkan alur kerja yang rumit, dan observabilitas membantu dalam mengelola kompleksitas ini.

Langkah 1: Menyiapkan Langfuse di Spaces

Langfuse Hugging Face Space memungkinkan Anda untuk langsung menggunakan versi Langfuse yang telah di-deploy hanya dengan beberapa klik.

Untuk memulai, klik tombol di atas atau ikuti langkah-langkah berikut:

1. Buat Space Hugging Face baru
2. Pilih Docker sebagai SDK Space
3. Pilih Langfuse sebagai template Space
4. Lampirkan Storage Bucket untuk memastikan data Langfuse Anda tersimpan melintasi restart
5. Pastikan ruang diatur dengan visibilitas public agar API/SDK Langfuse dapat mengakses aplikasi (lihat catatan di bawah untuk detail lebih lanjut)
6. [Opsional tetapi disarankan] Untuk deployment yang aman, ganti nilai default dari variabel lingkungan:
   • NEXTAUTH_SECRET: Digunakan untuk memvalidasi cookie sesi login, buat rahasia dengan entropi minimal 256 menggunakan openssl rand -base64 32.
   • SALT: Digunakan untuk memberi salt pada kunci API yang di-hash, buat rahasia dengan entropi minimal 256 menggunakan openssl rand -base64 32.
   • ENCRYPTION_KEY: Digunakan untuk mengenkripsi data sensitif. Harus 256 bit, 64 karakter string dalam format hex, dibuat melalui: openssl rand -hex 32.
7. Klik Buat Space!

Akses Pengguna

Space Langfuse Anda telah dikonfigurasi sebelumnya dengan Hugging Face OAuth untuk autentikasi yang aman, sehingga Anda perlu mengotorisasi akses read ke akun Hugging Face Anda saat login pertama dengan mengikuti instruksi di pop-up.

Setelah masuk ke aplikasi, Anda dapat menggunakan fitur native Langfuse untuk mengelola Organisasi, Proyek, dan Pengguna.

Ruang Langfuse harus diatur ke visibilitas public agar API/SDK Langfuse dapat mengakses aplikasi. Ini berarti bahwa secara default, setiap pengguna Hugging Face yang telah masuk akan dapat mengakses ruang Langfuse.

Anda dapat mencegah pengguna baru mendaftar dan mengakses ruang melalui dua metode yang berbeda:

1. (Disarankan) Pembatasan OAuth tingkat organisasi asli Hugging Face

Jika Anda ingin membatasi akses hanya untuk anggota organisasi tertentu, Anda cukup mengatur field metadata hf_oauth_authorized_org di file README.md space, seperti yang ditunjukkan di sini.

Setelah dikonfigurasi, hanya pengguna yang merupakan anggota organisasi yang ditentukan yang dapat mengakses ruang tersebut.

2. Kontrol akses manual

Anda juga dapat membatasi akses berdasarkan pengguna dengan mengatur variabel lingkungan AUTH_DISABLE_SIGNUP menjadi true. Pastikan Anda telah masuk & mengautentikasi diri ke space terlebih dahulu sebelum mengatur variabel ini, jika tidak profil pengguna Anda sendiri tidak akan dapat melakukan autentikasi.

Catatan: Jika Anda telah mengatur variabel lingkungan AUTH_DISABLE_SIGNUP menjadi true untuk membatasi akses, dan ingin memberikan akses kepada pengguna baru ke space, Anda perlu terlebih dahulu mengembalikannya menjadi false (tunggu hingga rebuild selesai), menambahkan pengguna dan memintanya untuk melakukan autentikasi dengan OAuth, lalu mengembalikannya menjadi true.

Langkah 2: Gunakan Langfuse

Sekarang Anda sudah menjalankan Langfuse, Anda dapat mulai menginstrumen aplikasi LLM Anda untuk menangkap jejak dan mengelola prompt Anda. Mari kita lihat caranya!

Monitor Aplikasi Apa Saja

Langfuse bersifat model agnostic dan dapat digunakan untuk melacak aplikasi apa pun. Ikuti panduan memulai dalam dokumentasi Langfuse untuk melihat cara Anda dapat menginstrumen kode Anda.

Langfuse mempertahankan integrasi native dengan banyak framework LLM populer, termasuk Langchain, LlamaIndex, dan OpenAI, serta menyediakan SDK Python dan JS/TS untuk menginstrumen kode Anda. Langfuse juga menawarkan berbagai endpoint API untuk mengingest data dan telah diintegrasikan oleh proyek open source lainnya seperti Langflow, Dify, dan Haystack.

Contoh 1: Lacak Panggilan ke Penyedia Inferensi

Sebagai contoh sederhana, berikut cara menelusuri panggilan LLM ke Inference Providers menggunakan Langfuse Python SDK.

Pastikan Anda terlebih dahulu mengatur variabel lingkungan LANGFUSE_HOST, LANGFUSE_PUBLIC_KEY, dan LANGFUSE_SECRET_KEY, serta pastikan Anda telah autentikasi dengan akun Hugging Face Anda.

from langfuse.openai import openai
from huggingface_hub import get_token

client = openai.OpenAI(
    base_url="https://huggingface.co/proxy/router.huggingface.co/hf-inference/models/meta-llama/Llama-3.3-70B-Instruct/v1",
    api_key=get_token(),
)

messages = [{"role": "user", "content": "What is observability for LLMs?"}]

response = client.chat.completions.create(
    model="meta-llama/Llama-3.3-70B-Instruct",
    messages=messages,
    max_tokens=100,
)

Contoh 2: Memantau Aplikasi Gradio

Kami membuat ruang template Gradio yang menunjukkan cara membuat aplikasi chat sederhana menggunakan model Hugging Face dan melacak panggilan model serta umpan balik pengguna di Langfuse - tanpa meninggalkan Hugging Face.

Untuk memulai, duplikasi ruang template Gradio ini dan ikuti instruksi di README.

Langkah 3: Lihat Jejak di Langfuse

Setelah Anda menginstrumen aplikasi Anda dan memasukkan jejak atau umpan balik pengguna ke dalam Langfuse, Anda dapat melihat jejak Anda di Langfuse.

Contoh trace di UI Langfuse

Sumber Daya dan Dukungan Tambahan

• Dokumentasi Langfuse
• Repositori GitHub Langfuse
• Langfuse Discord
• Ruang template Langfuse

Untuk bantuan lebih lanjut, buka utas dukungan di diskusi GitHub atau buka masalah.