Update app.py

app.py

@@ -1,17 +1,16 @@
 import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
+from transformers import AutoModelForCausalLM, AutoTokenizer
 import gradio as gr
 import os
 import re
-from pathlib import Path
 
 # Конфигурация модели
-MODEL_NAME = "Qwen/Qwen2.5-Coder-3B-Instruct"
+MODEL_NAME = "Qwen/Qwen2.5-Coder-14B-Instruct-GPTQ-Int4"
 DEVICE = "cpu"  # Запуск на CPU
 
 # Глобальная загрузка модели (один раз при запуске)
 def load_model():
-    print("Загрузка токенизатора...")
+    print("🔄 Загружаем токенизатор...")
     tokenizer = AutoTokenizer.from_pretrained(
         MODEL_NAME,
         trust_remote_code=True
@@ -21,11 +20,10 @@ def load_model():
     if tokenizer.pad_token is None:
         tokenizer.pad_token = tokenizer.eos_token
     
-    print("Загрузка модели... (это может занять несколько минут)")
+    print("🔄 Загружаем GPTQ-модель Qwen2.5-Coder-14B...")
     model = AutoModelForCausalLM.from_pretrained(
         MODEL_NAME,
         torch_dtype=torch.float32,  # Используем float32 для CPU
-        low_cpu_mem_usage=True,     # Снижаем использование памяти
         device_map="cpu",           # Явно указываем CPU
         trust_remote_code=True
     )
@@ -35,9 +33,9 @@ def load_model():
 # Загружаем модель один раз при старте
 try:
     tokenizer, model = load_model()
-    print("Модель успешно загружена!")
+    print("✅ Qwen2.5-Coder-14B-Instruct-GPTQ-Int4 успешно загружена!")
 except Exception as e:
-    print(f"Ошибка загрузки модели: {e}")
+    print(f"❌ Ошибка загрузки модели: {e}")
     tokenizer, model = None, None
 
 def read_file_content(file_path):
@@ -54,11 +52,10 @@ def read_file_content(file_path):
             except UnicodeDecodeError:
                 continue
         
-        # Если текстовые кодировки не работают, пробуем бинарный режим для определенных типов
+        # Если текстовые кодировки не работают, пробуем бинарный режим
         if file_path.endswith(('.py', '.txt', '.js', '.html', '.css', '.json', '.md')):
             with open(file_path, 'rb') as f:
                 content = f.read()
-            # Пробуем декодировать с заменой ошибок
             return content.decode('utf-8', errors='replace')
         else:
             return f"Файл {os.path.basename(file_path)} не является текстовым файлом"
@@ -78,39 +75,24 @@ def extract_search_terms(prompt):
     
     return prompt, None
 
-def search_and_highlight(content, search_term):
-    """Ищет термин в содержимом и возвращает подсвеченные результаты"""
-    if not content or not search_term:
-        return content
-    
-    lines = content.split('\n')
-    highlighted_lines = []
-    matches_found = 0
+def generate_code_with_context(prompt, files, max_length=1024, temperature=0.7, top_p=0.9):
+    """
+    Генерирует код на основе промпта пользователя с учетом загруженных файлов.
     
-    for i, line in enumerate(lines):
-        if search_term.lower() in line.lower():
-            matches_found += 1
-            # Подсвечиваем найденный термин
-            highlighted_line = re.sub(
-                f'({re.escape(search_term)})', 
-                '**\\1**', 
-                line, 
-                flags=re.IGNORECASE
-            )
-            highlighted_lines.append(f"🔍 Строка {i+1}: {highlighted_line}")
+    Эта функция автоматически станет доступна как MCP-инструмент для других приложений.
     
-    if matches_found > 0:
-        return f"Найдено совпадений: {matches_found}\n\n" + "\n".join(highlighted_lines[:10])  # Ограничиваем вывод
-    else:
-        return "Совпадений не найдено"
-
-def generate_code_with_context(prompt, files, max_length=2048, temperature=0.7, top_p=0.9):
-    """
-    Генерирует код на основе промпта пользователя с учетом загруженных файлов
-    и автоматическим поиском в них
+    Args:
+        prompt (str): Запрос пользователя, может содержать [поиск: термин]
+        files (list): Список загруженных файлов для анализа
+        max_length (int): Максимальная длина ответа в токенах
+        temperature (float): Параметр температуры для генерации
+        top_p (float): Параметр top-p для генерации
+        
+    Returns:
+        str: Сгенерированный код или сообщение об ошибке
     """
     if model is None or tokenizer is None:
-        return "Ошибка: модель не загружена"
+        return "❌ Ошибка: модель не загружена. Проверьте:\n- Подключение к интернету\n- Достаточно ли оперативной памяти (рекомендуется 16+ ГБ)\n- Установлены ли зависимости: `pip install auto-gptq optimum`"
     
     try:
         # Извлекаем поисковые термины из промпта
@@ -118,7 +100,6 @@ def generate_code_with_context(prompt, files, max_length=2048, temperature=0.7,
         
         # Обрабатываем загруженные файлы
         file_contexts = []
-        search_results = []
         
         if files:
             for file_info in files:
@@ -129,43 +110,24 @@ def generate_code_with_context(prompt, files, max_length=2048, temperature=0.7,
                 
                 content = read_file_content(file_path)
                 filename = os.path.basename(file_path)
-                
-                # Если есть поисковый термин, выполняем поиск
-                if search_term:
-                    search_result = search_and_highlight(content, search_term)
-                    search_results.append(f"**Файл: {filename}**\n{search_result}")
-                
-                # Добавляем полное содержимое для контекста (ограниченное)
                 file_contexts.append(f"Файл: {filename}\n```\n{content[:2000]}\n```")
         
         # Формируем финальный промпт
         final_prompt = clean_prompt
-        
-        # Добавляем результаты поиска если есть
-        if search_results:
-            search_context = "\n\n".join(search_results)
-            final_prompt = f"""Результаты поиска "{search_term}" в файлах:
-{search_context}
-
-Запрос: {clean_prompt}"""
-        
-        # Добавляем полный контекст файлов если нет поиска или мало результатов
-        elif file_contexts:
+        if file_contexts:
             files_context = "\n\n".join(file_contexts)
             final_prompt = f"""Контекст из загруженных файлов:
 {files_context}
 
 Запрос: {clean_prompt}"""
         
-        # Форматируем сообщение для модели
+        # Форматируем сообщение для модели в соответствии с официальным форматом Qwen2.5 :cite[1]
         messages = [
-            {"role": "system", "content": """Ты - эксперт по программированию. 
-Анализируй загруженные файлы и результаты поиска, затем генерируй релевантный код.
-Используй контекст из файлов для понимания структуры и стиля кода."""},
+            {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
             {"role": "user", "content": final_prompt}
         ]
         
-        # Применяем шаблон чата
+        # Применяем шаблон чата :cite[1]
         text = tokenizer.apply_chat_template(
             messages,
             tokenize=False,
@@ -180,7 +142,7 @@ def generate_code_with_context(prompt, files, max_length=2048, temperature=0.7,
             max_length=2048
         )
         
-        # Генерируем ответ
+        # Генерируем ответ с оптимизированными параметрами для CPU
         with torch.no_grad():
             outputs = model.generate(
                 inputs.input_ids,
@@ -206,27 +168,25 @@ def generate_code_with_context(prompt, files, max_length=2048, temperature=0.7,
         return response
         
     except Exception as e:
-        return f"Ошибка при генерации кода: {str(e)}"
+        return f"❌ Ошибка при генерации кода: {str(e)}"
 
-# Создаем расширенный интерфейс Gradio
-with gr.Blocks(title="Qwen2.5-Coder-3B with Smart Search", theme=gr.themes.Soft()) as demo:
+# Создаем интерфейс Gradio
+with gr.Blocks(title="Qwen2.5-Coder-14B with MCP", theme=gr.themes.Soft()) as demo:
     gr.Markdown("""
-    # 🚀 Qwen2.5-Coder-3B: Умный поиск и генерация кода
-    **Объединенная система для анализа файлов, поиска и генерации кода**
+    # 🚀 Qwen2.5-Coder-14B-Instruct-GPTQ-Int4 + MCP
+    **Профессиональный генератор кода с поддержкой Model Context Protocol**
     """)
     
     with gr.Row():
         with gr.Column():
             prompt_input = gr.Textbox(
                 lines=4,
-                placeholder="""Опишите задачу для генерации кода. Используйте [поиск: термин] для поиска в файлах.
-
-Примеры:
-- "Добавь валидацию в функцию [поиск: validate_user]"
-- "Исправь баг в модуле [поиск: calculate_score]"
-- "Создай тесты для классов из загруженных файлов" """,
-                label="Запрос на генерацию кода с поиском",
-                info="Используйте [поиск: ...] для указания что искать в файлах"
+                placeholder="""Введите ваш запрос... Примеры:
+- "Напиши функцию для быстрой сортировки на Python"
+- "Создай REST API на FastAPI для управления пользователями"
+- "Найди и исправь ошибку в загруженном коде [поиск: syntax error]" """,
+                label="Запрос на генерацию кода",
+                info="Используйте [поиск: ...] для поиска в файлах"
             )
             
             with gr.Accordion("📁 Загрузка файлов для анализа", open=True):
@@ -239,7 +199,7 @@ with gr.Blocks(title="Qwen2.5-Coder-3B with Smart Search", theme=gr.themes.Soft(
             
             with gr.Accordion("⚙️ Параметры генерации", open=False):
                 max_length_slider = gr.Slider(
-                    minimum=100, maximum=4096, value=1024,
+                    minimum=100, maximum=2048, value=512,
                     label="Максимальная длина ответа (токены)"
                 )
                 temperature_slider = gr.Slider(
@@ -251,77 +211,70 @@ with gr.Blocks(title="Qwen2.5-Coder-3B with Smart Search", theme=gr.themes.Soft(
                     label="Top-p (вероятностный отбор)"
                 )
             
-            generate_btn = gr.Button("🔍 Найти и сгенерировать", variant="primary")
-            clear_btn = gr.Button("Очистить всё")
+            generate_btn = gr.Button("🚀 Сгенерировать код", variant="primary")
             
         with gr.Column():
-            code_output = gr.Code(
+            response_output = gr.Textbox(
                 label="Сгенерированный код",
-                language="python",
-                interactive=True,
-                lines=20
+                lines=18,
+                show_copy_button=True
             )
     
-    # Добавляем примеры использования
-    with gr.Accordion("🎯 Примеры использования", open=True):
+    # Добавляем информацию о MCP
+    with gr.Accordion("🔗 MCP Сервер - Подключение к другим приложениям", open=True):
         gr.Markdown("""
-        ### **Умные сценарии использования:**
-        
-        **1. Поиск и модификация:**
-        ```
-        "Добавь обработку ошибок в функцию [поиск: process_data]"
-        ```
+        **MCP (Model Context Protocol) сервер активирован!**
         
-        **2. Анализ и расширение:**
-        ```
-        "Создай unit-тесты для классов в загруженных файлах [поиск: class User]"
-        ```
+        Ваш генератор кода теперь доступен как MCP-инструмент для:
+        - Claude Desktop
+        - Cursor 
+        - Cline
+        - Других MCP-клиентов
         
-        **3. Рефакторинг:**
-        ```
-        "Оптимизируй алгоритмы сортировки [поиск: def sort]"
-        ```
+        **URL для подключения:**
+        - Основной MCP URL: `http://localhost:7860/gradio_api/mcp/`
+        - SSE URL: `http://localhost:7860/gradio_api/mcp/sse`
         
-        **4. Без поиска (анализ всех файлов):**
-        ```
-        "Проанализируй архитектуру проекта и предложи улучшения"
+        **Для подключения к Claude Desktop** добавьте в настройки (`claude_desktop_config.json`):
+        ```json
+        {
+          "mcpServers": {
+            "qwen-coder-generator": {
+              "url": "http://localhost:7860/gradio_api/mcp/sse"
+            }
+          }
+        }
         ```
         """)
     
-    # Добавляем информацию о системе
-    with gr.Accordion("ℹ️ О системе", open=False):
+    # Информация о модели
+    with gr.Accordion("ℹ️ О модели Qwen2.5-Coder-14B", open=False):
         gr.Markdown("""
-        **Как это работает:**
-        1. **Загрузите файлы** - вашу кодовую базу для анализа
-        2. **Введите запрос** с опциональным `[поиск: термин]` 
-        3. **Система автоматически:**
-           - Находит указанные термины в файлах
-           - Анализирует контекст вокруг найденного
-           - Генерирует релевантный код с учетом структуры проекта
+        **Qwen2.5-Coder-14B-Instruct** - это специализированная модель для программирования :cite[6]:
+        - **Параметры**: 14.7 миллиардов (квантованные в INT4)
+        - **Специализация**: Генерация кода, исправление ошибок, код-ризонинг
+        - **Контекст**: До 128K токенов :cite[1]
+        - **Языки программирования**: Поддержка 40+ языков :cite[6]
+        - **Память**: ~4-6 ГБ RAM (благодаря GPTQ-квантованию)
         
-        **Поддерживаемые языки:** Python, JavaScript, Java, C++, HTML, CSS, JSON и другие
+        **Улучшения Qwen2.5 по сравнению с Qwen2** :cite[1]:
+        - Значительно больше знаний и улучшенные возможности в программировании
+        - Улучшенное следование инструкциям и генерация длинных текстов
+        - Поддержка многоязычия (29+ языков)
         """)
     
     # Обработчики событий
     generate_btn.click(
         fn=generate_code_with_context,
         inputs=[prompt_input, file_input, max_length_slider, temperature_slider, top_p_slider],
-        outputs=code_output
-    )
-    
-    def clear_all():
-        return "", None, ""
-    
-    clear_btn.click(
-        fn=clear_all,
-        inputs=[],
-        outputs=[prompt_input, file_input, code_output]
+        outputs=response_output
     )
 
-# Запускаем интерфейс
+# Запускаем приложение с MCP-сервером
 if __name__ == "__main__":
     demo.launch(
         server_name="0.0.0.0",
         server_port=7860,
-        share=False
+        share=False,
+        mcp_server=True  # 🔥 ВКЛЮЧАЕМ MCP-СЕРВЕР
     )