Update app.py

app.py

@@ -10,6 +10,13 @@ import logging
 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
 logger = logging.getLogger(__name__)
 
+# Получаем API токен из переменных окружения
+HF_TOKEN = os.environ.get("HF_TOKEN", None)
+if HF_TOKEN:
+    logger.info("API токен найден")
+else:
+    logger.warning("API токен не найден! Для доступа к закрытой модели необходимо добавить HF_TOKEN в секреты репозитория")
+
 # Информация о системе и CUDA
 logger.info("===== Запуск приложения =====")
 logger.info(f"PyTorch: {torch.__version__}")
@@ -82,6 +89,7 @@ def load_model():
         logger.info("Загружаем токенизатор...")
         tokenizer = AutoTokenizer.from_pretrained(
             model_name,
+            token=HF_TOKEN,  # Добавляем токен для доступа к закрытой модели
             cache_dir=CACHE_DIR,
             local_files_only=False
         )
@@ -94,7 +102,8 @@ def load_model():
         # Определяем оптимальный режим загрузки
         model_kwargs = {
             "cache_dir": CACHE_DIR,
-            "trust_remote_code": True
+            "trust_remote_code": True,
+            "token": HF_TOKEN  # Добавляем токен для доступа к закрытой модели
         }
         
         # Проверяем доступность CUDA
@@ -105,7 +114,6 @@ def load_model():
             })
         else:
             logger.info("Загружаем модель в режиме CPU...")
-            # Удаляем параметры, требующие Accelerate
             # Без параметров device_map и low_cpu_mem_usage
         
         # Загружаем модель
@@ -157,7 +165,10 @@ def respond(
     
     # Проверяем, загружена ли модель
     if not is_model_loaded or model is None or tokenizer is None:
-        return "Модель не загружена или произошла ошибка при загрузке. Проверьте логи для получения дополнительной информации."
+        if not HF_TOKEN:
+            return "Модель не загружена. Для доступа к закрытой модели требуется добавить HF_TOKEN в секреты репозитория."
+        else:
+            return "Модель не загружена или произошла ошибка при загрузке. Проверьте логи для получения дополнительной информации."
     
     # Замеряем время
     start_time = time.time()
@@ -213,6 +224,16 @@ def respond(
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
     gr.Markdown("# НереальностьQA - Чат с экспертом по эзотерике")
     
+    if not HF_TOKEN:
+        gr.Markdown("""
+        ## ⚠️ Внимание: API токен не найден!
+        
+        Для работы с закрытой моделью необходимо добавить HF_TOKEN в секреты репозитория:
+        1. Settings > Repository secrets > New secret
+        2. Name: HF_TOKEN
+        3. Value: ваш токен доступа с huggingface.co/settings/tokens
+        """, elem_id="warning-box")
+    
     with gr.Row():
         with gr.Column(scale=4):
             chatbot = gr.Chatbot(label="Диалог", type="messages")  # Исправление типа чатбота
@@ -261,6 +282,7 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
                 * **Режим работы**: {"GPU" if torch.cuda.is_available() else "CPU"}
                 * **Директория для кэша**: {CACHE_DIR}
                 * **Статус загрузки**: {"Успешно" if is_model_loaded else "Ошибка"}
+                * **API токен**: {"Настроен" if HF_TOKEN else "Отсутствует"}
                 """)
     
     # Примеры вопросов