Ниже — учебный бейзлайн-ноутбук ( beginner-friendly ), как решить задачу автоматической привязки приложений RuStore к до трёх категорий по тексту описания. Включаю пошаговую схему, простую реализацию на Python (scikit-learn) и объяснение метрики Hit@3. Вы можете запустить на своей партсерии данных и потом допиливать модель.

Кратко о задаче

• Данные на вход: app_name, full_description (если есть), shortDescription (если есть), labels_str (истинные категории через "|", например finance|tools).
• Цель: для каждого приложения предсказать до трёх категорий, упорядоченных по уверенности модели.
• Метрика оценки: Hit@3. Для каждого приложения считаем, попала ли хотя бы одна истинная метка в топ-3 предсказаний. Hitrate@3 = (число попаданий) / (число объектов). Итоговый показатель усредняется по всем тестовым примерам.

1. Пояснение подхода (почему так)

• Текстовые данные удобно обрабатывать через TF-IDF векторизацию.
• Задача — многоклассная многометочная классификация (multi-label). Простой и эффективный бейзлайн: OneVsRestClassifier с логистической регрессией.
• Прогнозируем вероятности для каждой категории, сортируем по убыванию и берём топ-3.
• Важно корректно обрабатывать отсутствие full_description/shortDescription и объединять текст из нескольких полей.

2. Что будем считать входом и как готовим данные

• Объединяем текстовый вход: text_i = app_name_i + " " + (full_description_i or "") + " " + (shortDescription_i or "")
• Метки: y_true_i — множество категорий из labels_str_i, разбитых по '|'.
• Стратегия обучения: разобьём данные на train/test; используется TF-IDF + OneVsRestClassifier на основе LogisticRegression.

3. Шаги решения (пошагово)

• Шаг 1. Подгрузка данных и предобработка
  • Привести пустые описания к пустой строке.
  • Объединить текстовые поля в один входной текст.
  • Разбить labels_str по '|' и сохранить как множество истинных меток.
• Шаг 2. Векторизация и модель
  • Векторизация: TfidfVectorizer(ngram_range=(1,2), max_features ~ 50000, language='ru' или без указания)
  • Модель: OneVsRestClassifier(LogisticRegression(max_iter=1000, C=1.0, solver='liblinear'))
• Шаг 3. Обучение и оценка
  • Разделение на train/test (например 80/20).
  • Обучение модели на X_train, y_train.
  • Получение матрицы вероятностей y_prob_test = clf.predict_proba(X_test) (размер: n_test x n_classes).
  • Для каждого примера взяли топ-3 индексов классов по y_prob_test[i], упорядоченные по убыванию вероятности.
• Шаг 4. Формирование результатов и метрика Hit@3
  • predicted_top3_i — список названий категорий (до 3) для i-го примера.
  • hit_i = 1, если хотя бы одна истинная категория из y_true_test_i попала в predicted_top3_i, иначе 0.
  • H@3 = mean([hit_i for все i]).
• Шаг 5. Вывод TSV
  • Для каждого примера: app_name, labels_str (истинные), predicted_top3_str (верхние 3 предсказанные, через '|').
  • Помимо этого можно сохранить отдельный столбец Hit3_i (0/1) для внутренней проверки, и отдельно вывести общий H@3 по всему набору.

4. Простой рабочий код (Python, минимальные зависимости) Привожу минимальный каркас, который можно заполнить реальными данными. Этот код — базовый бейзлайн.

• Требования: Python 3.x, pandas, scikit-learn.
• Установка: pip install pandas scikit-learn

Пример кода (ключевые части):

• Импорт from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import MultiLabelBinarizer from sklearn.pipeline import Pipeline from sklearn.model_selection import train_test_split from sklearn.multiclass import OneVsRestClassifier import numpy as np import pandas as pd

• Подготовка данных

data – DataFrame с колонками: app_name, full_description, shortDescription, labels_str

data['text'] = data['app_name'].fillna('') + ' ' + data['full_description'].fillna('') + ' ' + data['shortDescription'].fillna('') data['labels'] = data['labels_str'].fillna('').apply(lambda s: [t for t in s.split('|') if t])

Соберём уникальные классы

all_labels = sorted({lab for labs in data['labels'] for lab in labs})

Разделение на train/test

X = data['text'].values y_true = data['labels'].values # список списков X_tr, X_te, y_tr_lists, y_te_lists = train_test_split(X, y_true, test_size=0.2, random_state=42)

Преобразование y в бинарную матрицу

mlb = MultiLabelBinarizer(classes=all_labels) Y_tr = mlb.fit_transform(y_tr_lists) Y_te = mlb.transform(y_te_lists)

Модель: TF-IDF + OneVsRest с логистической регрессией

model = Pipeline([ ('tfidf', TfidfVectorizer(stop_words='russian', ngram_range=(1, 2), max_features=60000)), ('clf', OneVsRestClassifier(LogisticRegression(max_iter=1000, C=1.0, solver='liblinear'))) ])

Обучение

model.fit(X_tr, Y_tr)

Оценка и топ-3 предсказания

y_te_prob = model.predict_proba(X_te) # массив [n_te, n_classes]

В некоторых версиях scikit-learn predict_proba возвращает список; приведём к массиву

if isinstance(y_te_prob, list): y_te_prob = np.array(y_te_prob)

Топ-3 индексов для каждого примера

top3_indices = np.argsort(-y_te_prob, axis=1)[:, :3] # верхние 3 по вероятности

Карка для результатов

pred_top3_labels = [] hit_marks = [] for i, idxs in enumerate(top3_indices): pred_labels = [mlb.classes_[j] for j in idxs] pred_top3_labels.append('|'.join(pred_labels)) # Проверка попадания в топ-3 относительно истинных меток true_set = set(y_te_lists[i]) hit = int(len(true_set.intersection(set(pred_labels))) > 0) hit_marks.append(hit)

Вычисляем Hit@3 по тесту

H_at_3 = np.mean(hit_marks)

Формируем TSV-выгрузку: app_name, labels_str, pred_top3

output = pd.DataFrame({ 'app_name': data.iloc[y_te_indexes]['app_name'], # индексы тестовой выборки 'labels_str': ['|'.join(y_te_lists[i]) for i in range(len(y_te_lists))], 'pred_top3': pred_top3_labels })

Сохранение

output.to_csv('ru_store_top3.tsv', sep='\t', index=False)

Вывод

print(f'Hitrate@3: {H_at_3:.4f}')

• Примечания по коду
  • Я приводлю векторизатор с 1- и 2-граммами; можно увеличить max_features, поэкспериментировать с другими моделями (LinearSVC с вероятностями не всегда работает, но можно заменить на пакет Scikit-Learn LinearSVC с аппроксимацией).
  • Если predict_proba недоступна для OneVsRestClassifier, можно использовать decision_function и преобразовать в вероятности через сигналы, но базовый путь с probas обычно работает.

5. Как посчитать и интерпретировать Hit@3

• Для каждого примера i мы имеем истинный набор меток y_true_i и топ-3 предсказанные метки top3_i.
• hit_i = 1, если y_true_i ∩ top3_i ≠ ∅, иначе 0.
• H@3 по всему набору = (Σ_i hit_i) / N, где N — число примеров в тестовом наборе.
• В итоговом файле можно сохранить:
  • app_name
  • labels_str (истинные)
  • pred_top3 (тройка предсказанных категорий через '|')
  • hit_i (0/1) — для анализа ошибок
  • И отдельно вывести общий H@3.

6. Как оформить итоговый TSV (вариант)

• Рекомендую сделать две таблицы:
  • Таблица с предсказаниями для оценки: app_name, labels_str, pred_top3, hit_i
  • Файл обобщённой метрики: остается одна строка: Hitrate@3 = X.XXXX
• Если нужно строго 3 колонки (как в задании): можно сделать столбцы app_name | labels_str | Hitrate@3_per_row (0/1) — где Hitrate@3_per_row — это 1, если true label присутствует в pred_top3, иначе 0. А затем общий H@3 считаем отдельно по всему набору.

7. Возможные улучшения бейзлайна

• Добавить character-level TF-IDF для захвата редких слов и сленга приложений.
• Использовать другой базовый классификатор: LinearSVC с вероятностями через калибровку (CalibratedClassifierCV).
• Поиграть с параметрами векторизации: max_features, ngram_range, использование stop_words (ru/none), analyzer='word' vs 'char'.
• Применить кластеризацию/управление классами (thresholding) для улучшения точности топ-3.

8. Что вы получите и как использовать

• Вы получите модель, которая на вход получает app_name + тексты (полное описание и краткое), возвращает топ-3 категории по уверенности.
• Вы сможете экспортировать файл TSV для модераторов или для стейкхолдеров, где будет видно, какие три категории модель считает наиболее вероятными.
• Метрику Hit@3 можно использовать для сравнения разных подходов и гиперпараметров.

Если хотите, могу прислать готовый ноутбук (Jupyter) со встроенным кодом на Python, включая загрузку данных в формате CSV, полноценной парсинг-цифру и выдачу TSV с топ-3 предсказания и расчетом H@3. Также могу адаптировать под ваши данные: пример структуры CSV, названия колонок, разделитель и т.п. Сообщите, пожалуйста, какие у вас реальные колонки и как называются поля, и какой у вас набор тестовых данных.