Initial commit with app files

Dockerfile

@@ -1,20 +1,27 @@
-FROM python:3.13.5-slim
+FROM python:3.11-slim
 
 WORKDIR /app
 
-RUN apt-get update && apt-get install -y \
-    build-essential \
-    curl \
-    git \
-    && rm -rf /var/lib/apt/lists/*
+# Сначала копируем requirements.txt, чтобы использовать кэш
+COPY requirements.txt .
 
-COPY requirements.txt ./
-COPY src/ ./src/
+# Устанавливаем зависимости
+RUN pip3 install --no-cache-dir -r requirements.txt
 
-RUN pip3 install -r requirements.txt
+# === НОВЫЙ БЛОК: Загрузка моделей при сборке ===
+# Загрузка модели и токенизатора transformers
+RUN python -c "import spacy; spacy.cli.download('ru_core_news_lg')"
+RUN python -c "import nltk; nltk.download('punkt_tab', download_dir='/usr/local/share/nltk_data')"
+RUN python -c "import nltk; nltk.download('stopwords')"
+
+# --- НОВАЯ СТРОКА: Загрузка модели spaCy ---
+# Убедитесь, что `ru_core_news_lg` доступна в образе при сборке
+
+# Копируем остальные файлы и делаем новую загрузку
+COPY . .
 
 EXPOSE 8501
 
 HEALTHCHECK CMD curl --fail http://localhost:8501/_stcore/health
 
-ENTRYPOINT ["streamlit", "run", "src/streamlit_app.py", "--server.port=8501", "--server.address=0.0.0.0"]
+ENTRYPOINT ["streamlit", "run", "app.py", "--server.port=8501", "--server.address=0.0.0.0"]

README.md

@@ -1,19 +1,48 @@
 ---
-title: History App
-emoji: 🚀
-colorFrom: red
-colorTo: red
+title: ИИ-ассистент по истории
+emoji: 🤖
+colorFrom: purple
+colorTo: blue
 sdk: docker
-app_port: 8501
-tags:
-- streamlit
 pinned: false
-short_description: Streamlit template space
+license: mit
 ---
 
-# Welcome to Streamlit!
+# 🤖 ИИ-ассистент по истории
 
-Edit `/src/streamlit_app.py` to customize this app to your heart's desire. :heart:
+Это интерактивное веб-приложение, разработанное с использованием [Streamlit](https://streamlit.io/), которое отвечает на вопросы по истории на русском языке. Приложение использует предобученную модель вопрос-ответа, а также методы поиска похожих вопросов/контекста для генерации ответов.
+
+## 📌 Функциональность
+
+- **Вопрос-ответ по истории**: Пользователь вводит вопрос по истории, и приложение пытается найти на него ответ, используя знания из датасета `Romyx/ru_QA_school_history`.
+- **Предобработка текста**: Вопросы проходят очистку, токенизацию, лемматизацию (с использованием `spaCy`) и удаление стоп-слов (`NLTK`).
+- **Поиск по схожести**: Используется TF-IDF векторайзер и косинусное сходство для поиска наиболее релевантного контекста в датасете.
+- **Генерация ответа**: Найденный контекст и вопрос пользователя подаются в предобученную модель вопрос-ответа (["AlexKay/xlm-roberta-large-qa-multilingual-finedtuned-ru"](https://huggingface.co/AlexKay/xlm-roberta-large-qa-multilingual-finedtuned-ru)) для извлечения ответа.
+
+## 🛠️ Технологии и инструменты
+
+- **Python**
+- **Streamlit**: для создания веб-интерфейса.
+- **Transformers (Hugging Face)**: для загрузки и использования предобученной модели.
+- **Datasets (Hugging Face)**: для загрузки датасета вопросов-ответов.
+- **spaCy**: для лемматизации русского текста (`ru_core_news_lg`).
+- **NLTK**: для токенизации и стоп-слов.
+- **Scikit-learn**: для вычисления TF-IDF и косинусного сходства.
+- **PyTorch**: бэкенд для моделей `transformers`.
+- **BeautifulSoup**: для очистки HTML-тегов.
+- **Docker**: для контейнеризации приложения.
+- **Hugging Face Spaces**: для хостинга приложения.
+
+## 🚀 Как использовать
+
+1. Введите ваш вопрос по истории в поле ввода.
+2. Нажмите кнопку **"Получить ответ"**.
+3. Приложение обработает вопрос и покажет найденный ответ или сообщение о том, что ответ не найден.
+
+## 📁 Структура репозитория
+
+- `app.py`: Основной скрипт Streamlit-приложения.
+- `Dockerfile`: Инструкции для сборки Docker-образа.
+- `requirements.txt`: Список зависимостей Python.
+--
 
-If you have any questions, checkout our [documentation](https://docs.streamlit.io) and [community
-forums](https://discuss.streamlit.io).

app.py

@@ -0,0 +1,167 @@
+
+
+import streamlit as st
+import pandas as pd
+import numpy as np
+from datasets import load_dataset, concatenate_datasets
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.metrics.pairwise import cosine_similarity
+import torch
+from transformers import AutoTokenizer, AutoModelForQuestionAnswering
+import spacy
+from nltk.corpus import stopwords
+from nltk.tokenize import word_tokenize
+import re
+from bs4 import BeautifulSoup
+
+# === Загрузка и подготовка данных ===
+
+@st.cache_resource
+def load_data():
+    # Загрузка датасета
+    data = load_dataset('Romyx/ru_QA_school_history', split='train')
+    df = pd.DataFrame(data)
+    df['Pt_question'] = df['question'].apply(preprocess_text)
+    df['Pt_answer'] = df['answer'].apply(preprocess_text)
+    return df
+
+@st.cache_resource
+def load_model_and_tokenizer():
+    # Загрузка предобученной модели вопрос-ответа (например, SberQuad)
+    model_name = "AlexKay/xlm-roberta-large-qa-multilingual-finedtuned-ru"   #"AlexKay/xlm-roberta-large-qa-multilingual-finedtuned-ru"
+  # замените на нужную модель, например, "bert-base-uncased"
+    tokenizer = AutoTokenizer.from_pretrained(model_name)
+    model = AutoModelForQuestionAnswering.from_pretrained(model_name)
+    return tokenizer, model
+
+@st.cache_resource
+def build_vectorizer(_df):
+    combined_texts = _df['Pt_question'].tolist() + _df['Pt_answer'].tolist()
+    vectorizer = TfidfVectorizer()
+    tfidf_matrix = vectorizer.fit_transform(combined_texts)
+    return vectorizer, tfidf_matrix
+
+# === Предобработка текста ===
+
+# Загрузка Spacy модели
+nlp = spacy.load('ru_core_news_lg')  #'ru_core_news_lg'
+stop_words = set(stopwords.words('russian'))
+
+cache_dict = {}
+
+def get_norm_form(word):
+    if word in cache_dict:
+        return cache_dict[word]
+    norm_form = nlp(word)[0].lemma_
+    cache_dict[word] = norm_form
+    return norm_form
+
+def remove_html_tags(text):
+    soup = BeautifulSoup(text, 'html.parser')
+    return soup.text
+
+def preprocess_text(text):
+    if pd.isna(text) or text is None:
+        return ""
+    text = remove_html_tags(text)
+    text = text.lower()
+
+    # Обработка знаков препинания
+    text = re.sub(r'([^\w\s-]|_)', r' \1 ', text)
+    text = re.sub(r'\s+', ' ', text)
+    text = re.sub(r'(\w+)-(\w+)', r'\1 \2', text)
+    text = re.sub(r'(\d+)(г|кг|см|м|мм|л|мл)', r'\1 \2', text)
+
+    # Удаление всего, кроме букв, цифр и пробелов
+    text = re.sub(r'[^\w\s]', '', text)
+
+    tokens = word_tokenize(text)
+    tokens = [token for token in tokens if token not in stop_words]
+    tokens = [get_norm_form(token) for token in tokens]
+
+    words_to_remove = {"ответ", "new"}
+    tokens = [token for token in tokens if token not in words_to_remove]
+
+    return ' '.join(tokens)
+
+
+# === Основная функция получения ответа ===
+def get_answer_from_qa_model(user_question, df, vectorizer, tfidf_matrix, model, tokenizer):
+    processed = preprocess_text(user_question)
+    user_vec = vectorizer.transform([processed])
+
+    similarities = cosine_similarity(user_vec, tfidf_matrix).flatten()
+
+    # Проверка, что similarities не пустой
+    if len(similarities) == 0:
+        return "Тема не входит в программу этих классов."
+
+    best_match_idx = similarities.argmax()
+    best_score = similarities[best_match_idx]
+
+    if best_score > 0.1:
+        # Проверка, что индекс не выходит за границы
+        if best_match_idx >= len(df):
+            return "Тема не входит в программу этих классов."
+
+        context = df.iloc[best_match_idx]['answer']
+        question = user_question
+
+        inputs = tokenizer(question, context, return_tensors="pt", truncation=True, padding=True)
+
+        with torch.no_grad():
+            outputs = model(**inputs)
+
+        start_scores = outputs.start_logits
+        end_scores = outputs.end_logits
+
+        # Проверка на корректность размера логитов
+        if len(start_scores.shape) == 2:
+            start_idx = torch.argmax(start_scores, dim=1)[0].item()
+            end_idx = torch.argmax(end_scores, dim=1)[0].item()
+        else:
+            start_idx = torch.argmax(start_scores).item()
+            end_idx = torch.argmax(end_scores).item()
+
+        # Проверка, что индексы не выходят за пределы
+        seq_len = inputs['input_ids'].shape[1]
+        if start_idx >= seq_len or end_idx >= seq_len or start_idx > end_idx:
+            return "Ответ не найден."
+
+        answer = tokenizer.decode(inputs['input_ids'][0][start_idx:end_idx+1], skip_special_tokens=True)
+    else:
+        answer = "Извините, я не понимаю вопрос."
+
+    return answer
+
+
+# === Интерфейс Streamlit ===
+
+def main():
+    st.title("🤖 ИИ-ассистент по истории (на основе вопрос-ответа)")
+
+    st.write("Задайте вопрос, и я постараюсь найти на него ответ из базы.")
+
+    # Загрузка данных и модели
+    df = load_data()
+    tokenizer, model = load_model_and_tokenizer()
+    vectorizer, tfidf_matrix = build_vectorizer(df)
+
+    # Поле ввода вопроса
+    user_input = st.text_input("Введите ваш вопрос:")
+
+    if st.button("Получить ответ"):
+        if user_input.strip():
+            with st.spinner("Ищем ответ..."):
+                response = get_answer_from_qa_model(
+                    user_input, df, vectorizer, tfidf_matrix, model, tokenizer
+                )
+            st.success("Ответ:")
+            st.write(response)
+        else:
+            st.warning("Пожалуйста, введите вопрос.")
+
+if __name__ == "__main__":
+    main()
+
+

requirements.txt

@@ -1,3 +1,12 @@
-altair
+
+streamlit
+openai
 pandas
-streamlit
+numpy
+datasets
+scikit-learn
+torch --index-url https://download.pytorch.org/whl/cpu
+transformers
+spacy
+nltk
+beautifulsoup4