Как анализировать математические задачи из набора ResearchMath-14k

В этом руководстве показано, как работать с набором amphora/ResearchMath-14k — коллекцией исследовательских математических задач, собранных из arXiv. Мы загрузим данные, изучим их структуру и распределение задач по математическим областям и категориям статуса открытости. Затем извлечём характерные для областей ключевые слова, построим семантические эмбеддинги и визуализации, сгруппируем похожие задачи и создадим простой поисковый механизм. В завершение обучим классификатор для предсказания статуса задачи по эмбеддингу и найдём близкие или почти дублирующиеся формулировки.

Подготовка окружения

!pip -q install -U datasets sentence-transformers scikit-learn umap-learn \
   pandas matplotlib seaborn wordcloud 2>/dev/null
import warnings, numpy as np, pandas as pd
warnings.filterwarnings("ignore")
import matplotlib.pyplot as plt
import seaborn as sns
sns.set_theme(style="whitegrid", palette="deep")
SAMPLE_SIZE = 4000
RANDOM_STATE = 42
EMB_MODEL   = "sentence-transformers/all-MiniLM-L6-v2"

Установим библиотеки для работы с данными, визуализации и построения эмбеддингов, а затем импортируем необходимые инструменты. Зададим размер выборки, начальное значение генератора случайных чисел и модель эмбеддингов. Это подготовит окружение для анализа ResearchMath.

Загрузка и проверка данных

from datasets import load_dataset
ds = load_dataset("amphora/ResearchMath-14k", split="test")
df = ds.to_pandas()
print("Rows:", len(df))
print("Columns:", list(df.columns))
df.head(3)

TEXT_COL = "self_contained_problem"
df = df[df[TEXT_COL].astype(str).str.len() > 20].reset_index(drop=True)

Загрузим раздел test набора amphora/ResearchMath-14k с Hugging Face и преобразуем его в таблицу pandas. Выведем число строк, названия столбцов и несколько записей, чтобы ознакомиться со структурой данных. Затем оставим только формулировки задач длиной более 20 символов.

Распределение задач

print("\n--- open_status distribution ---")
print(df["open_status"].value_counts(dropna=False))
print("\n--- taxonomy_level_1 (math fields) ---")
print(df["taxonomy_level_1"].value_counts())
fig, axes = plt.subplots(1, 3, figsize=(20, 6))
df["open_status"].value_counts().plot(
   kind="bar", ax=axes[0], color="steelblue")
axes[0].set_title("Problem status"); axes[0].tick_params(axis="x", rotation=30)
df["taxonomy_level_1"].value_counts().plot(
   kind="barh", ax=axes[1], color="seagreen")
axes[1].set_title("Top-level math field"); axes[1].invert_yaxis()
df["doc_len"] = df[TEXT_COL].str.split().apply(len)
axes[2].hist(df["doc_len"].clip(upper=400), bins=40, color="indianred")
axes[2].set_title("Problem length (words, clipped @400)")
plt.tight_layout(); plt.show()
ct = pd.crosstab(df["taxonomy_level_1"], df["open_status"], normalize="index")
plt.figure(figsize=(10, 6))
sns.heatmap(ct, annot=True, fmt=".2f", cmap="rocket_r")
plt.title("Fraction of each status within each field")
plt.tight_layout(); plt.show()

Посмотрим, как задачи распределены по категориям статуса открытости и математическим областям. Построим диаграммы количества задач по статусу и области, а также гистограмму длины формулировок. Для гистограммы длина ограничена 400 словами. Тепловая карта покажет долю каждой категории статуса внутри каждой области.

Ключевые слова по областям

from sklearn.feature_extraction.text import TfidfVectorizer
def top_terms_per_group(frame, group_col, text_col, k=8):
   out = {}
   for g, sub in frame.groupby(group_col):
       if len(sub) < 20:
           continue
       vec = TfidfVectorizer(max_features=3000, stop_words="english",
                             ngram_range=(1, 2), min_df=3)
       X = vec.fit_transform(sub[text_col])
       scores = np.asarray(X.mean(axis=0)).ravel()
       terms = np.array(vec.get_feature_names_out())
       out[g] = terms[scores.argsort()[::-1][:k]].tolist()
   return out
for field, terms in top_terms_per_group(df, "taxonomy_level_1", TEXT_COL).items():
   print(f"\n{field:35s} -> {', '.join(terms)}")

Используем TF-IDF, чтобы выделить наиболее характерные слова и словосочетания для каждой области верхнего уровня. Группировка по области поможет увидеть, какие темы и термины преобладают в разных разделах математики. Группы, в которых меньше 20 задач, пропускаются; для каждой оставшейся группы выводятся восемь терминов.

Эмбеддинги, визуализация и кластеризация

Возьмём выборку задач и преобразуем каждую формулировку в семантический эмбеддинг с помощью SentenceTransformer. Сведём эмбеддинги к двум измерениям методом UMAP, а если он недоступен — методом PCA, и визуализируем распределение задач по областям. Затем применим кластеризацию K-Means и сравним полученные группы с разметкой таксономии, используя показатели ARI и NMI.

Семантический поиск и классификация

from sentence_transformers import util
def search(query, k=5):
   q = model.encode([query], normalize_embeddings=True)
   sims = util.cos_sim(q, emb)[0].cpu().numpy()
   idx = sims.argsort()[::-1][:k]
   print(f'\n=== Query: "{query}" ===')
   for rank, i in enumerate(idx, 1):
       row = work.iloc[i]
       print(f"\n[{rank}] sim={sims[i]:.3f} | {row['taxonomy_level_1']} "
             f"| status={row['open_status']}")
       print("   ", row[TEXT_COL][:260].replace("\n", " "), "...")
search("rational points on hyperelliptic curves")
search("multiplicativity of maximal output p-norm of a quantum channel")

Функция поиска кодирует запрос и находит пять задач с наиболее близкими эмбеддингами. В качестве примеров используются запросы о рациональных точках на гиперэллиптических кривых и мультипликативности максимальной выходной p-нормы квантового канала.

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report, ConfusionMatrixDisplay
y = work["open_status"].values
Xtr, Xte, ytr, yte = train_test_split(
   emb, y, test_size=0.25, random_state=RANDOM_STATE, stratify=y)
clf = LogisticRegression(max_iter=2000, class_weight="balanced", C=2.0)
clf.fit(Xtr, ytr)
pred = clf.predict(Xte)
print("\n=== open_status classifier (embeddings + logistic regression) ===")
print(classification_report(yte, pred))
fig, ax = plt.subplots(figsize=(7, 6))
ConfusionMatrixDisplay.from_predictions(
   yte, pred, ax=ax, cmap="Blues", xticks_rotation=45,
   normalize="true", values_format=".2f")
ax.set_title("open_status confusion matrix (row-normalized)")
plt.tight_layout(); plt.show()

Обучим логистическую регрессию предсказывать категорию open_status по эмбеддингу. Для проверки качества отделим тестовую часть размером 25% и сохраним пропорции классов с помощью стратификации. Параметр class_weight="balanced" учитывает дисбаланс классов. Выведем отчёт классификации и нормализованную матрицу ошибок.

Поиск наиболее похожих формулировок

sims = util.cos_sim(emb, emb).cpu().numpy()
np.fill_diagonal(sims, 0)
i, j = np.unravel_index(sims.argmax(), sims.shape)
print(f"\nMost similar pair (cos={sims[i, j]:.3f}):")
for n in (i, j):
   print(f"\n  paper_id={work.iloc[n]['paper_id']} | "
         f"{work.iloc[n]['taxonomy_level_1']}")
   print("   ", work.iloc[n][TEXT_COL][:240].replace("\n", " "), "...")
print("\nDone. Set SAMPLE_SIZE=None at the top to run on the full 14.1k rows.")

Рассчитаем косинусное сходство между всеми эмбеддингами, обнулим значения на диагонали и найдём наиболее похожую пару задач. Выведем их идентификаторы, области и фрагменты формулировок. Чтобы запустить анализ на всех 14,1 тыс. строк, установите SAMPLE_SIZE = None.

Итог

Этот рабочий процесс объединяет изучение данных, TF-IDF, семантические эмбеддинги, снижение размерности, кластеризацию, поиск и классификацию. Он помогает исследовать структуру математических задач, находить похожие формулировки и проверять, насколько эмбеддинги полезны для предсказания категорий статуса.