В этом руководстве мы изучим набор данных ClawHub Security Signals и сравним, как разные сканеры проверяют навыки для ИИ и связанные с ними файлы. Чтобы избежать проблем совместимости с новыми метаданными наборов данных, загрузим данные напрямую из преобразованной в Parquet версии на Hugging Face. Затем изучим основные столбцы, распределение вердиктов, результаты сканеров и уровни серьёзности. После анализа расхождений и совпадений между сканерами построим практический конвейер машинного обучения: он будет использовать текст SKILL.md и числовые сигналы сканеров для предсказания итогового вердикта ClawScan. Пример показывает порядок загрузки, анализа, визуализации и обучения модели в блокноте Google Colab.
Настройка среды Colab и импорт библиотек
!pip -q install -U "huggingface_hub>=0.23" pyarrow scikit-learn pandas numpy matplotlib seaborn
import warnings, numpy as np, pandas as pd
warnings.filterwarnings("ignore")
import matplotlib.pyplot as plt
import seaborn as sns
sns.set_theme(style="whitegrid")
from huggingface_hub import HfApi, hf_hub_download
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.compose import ColumnTransformer
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler, FunctionTransformer
from sklearn.impute import SimpleImputer
from sklearn.metrics import (classification_report, confusion_matrix,
cohen_kappa_score, jaccard_score)
SAMPLE_SIZE = 20000
RANDOM_STATE = 42
Установим нужные библиотеки и импортируем пакеты для загрузки и анализа данных, визуализации и машинного обучения. Настроим предупреждения и стиль графиков, чтобы вывод в блокноте был аккуратным и читаемым. Наконец, зададим размер выборки и случайное начальное значение для контролируемого и воспроизводимого эксперимента.
Загрузка набора ClawHub Security Signals из версии Parquet на Hugging Face
REPO = "OpenClaw/clawhub-security-signals"
REV = "refs/convert/parquet"
print("Listing Parquet files on the Hub...")
api = HfApi()
all_files = api.list_repo_files(REPO, repo_type="dataset", revision=REV)
parquet_files = [f for f in all_files if f.endswith(".parquet")]
def load_split(split):
"""Download + concat all Parquet shards for a given split into a DataFrame."""
shards = [f for f in parquet_files
if f.split("/")[-2] == split]
if not shards:
raise ValueError(f"No parquet files for split '{split}'. Found: {parquet_files[:5]}")
frames = []
for f in shards:
local = hf_hub_download(REPO, f, repo_type="dataset", revision=REV)
frames.append(pd.read_parquet(local))
return pd.concat(frames, ignore_index=True)
print("Downloading train + test splits (first run pulls the data)...")
train_df = load_split("train")
test_df = load_split("test")
if SAMPLE_SIZE:
train_df = train_df.sample(min(SAMPLE_SIZE, len(train_df)),
random_state=RANDOM_STATE).reset_index(drop=True)
print(f"\nTrain rows in use: {len(train_df):,} | Test rows: {len(test_df):,}")
print("Columns:", list(train_df.columns))
Подключимся к репозиторию набора данных на Hugging Face и выведем список файлов Parquet в преобразованной версии. Создадим вспомогательную функцию, которая загружает и объединяет фрагменты Parquet для каждой части данных в один объект pandas DataFrame. Затем загрузим обучающую и тестовую выборки, при необходимости случайным образом отберём часть обучающих данных и выведем размер выборок и названия столбцов.
Распределение вердиктов и согласованность сканеров: коэффициенты Жаккара и каппа Коэна
print("\n=== ClawScan verdict distribution (train) ===")
print(train_df["clawscan_verdict"].value_counts(normalize=True).mul(100).round(2))
print("\n=== SkillSpector severity distribution ===")
print(train_df["skillspector_severity"].value_counts(dropna=False))
sample = train_df.iloc[0]
print(f"\nExample skill: {sample['skill_slug']} (v{sample['skill_version']})")
print(f"Verdict: {sample['clawscan_verdict']} | Summary: {sample['clawscan_summary']}")
print("SKILL.md (first 400 chars):\n", str(sample["skill_md_content"])[:400])
POSITIVE = {"suspicious", "malicious"}
def is_pos(series):
return series.fillna("").isin(POSITIVE).astype(int)
an = train_df.copy()
an["vt_pos"] = is_pos(an["virustotal_status"])
an["static_pos"] = is_pos(an["static_status"])
an["spec_pos"] = is_pos(an["skillspector_status"])
print("\n=== Scanner positive rates ===")
for col, name in [("vt_pos","VirusTotal"),("static_pos","Static"),("spec_pos","SkillSpector")]:
print(f" {name:12s}: {an[col].mean()*100:5.2f}% positive")
def pattern(r):
tags = []
if r.vt_pos: tags.append("VT")
if r.static_pos: tags.append("Static")
if r.spec_pos: tags.append("SkillSpector")
return "None" if not tags else " + ".join(tags)
an["pattern"] = an.apply(pattern, axis=1)
print("\n=== Positive-signal overlap patterns ===")
print(an["pattern"].value_counts(normalize=True).mul(100).round(2))
print("\n=== Pairwise agreement (low = scanners inspect different surfaces) ===")
pairs = [("vt_pos","static_pos","VT vs Static"),
("vt_pos","spec_pos","VT vs SkillSpector"),
("static_pos","spec_pos","Static vs SkillSpector")]
for a, b, label in pairs:
j = jaccard_score(an[a], an[b], zero_division=0)
k = cohen_kappa_score(an[a], an[b])
print(f" {label:26s} Jaccard={j:.3f} Cohen's kappa={k:.3f}")
Проведём основной исследовательский анализ набора данных ClawHub Security Signals. Изучим распределение вердиктов и уровней серьёзности, метаданные примера навыка и начало файла SKILL.md, чтобы разобраться в структуре данных. Затем преобразуем результаты сканеров в бинарные признаки и сравним VirusTotal, статический анализ и SkillSpector по доле положительных результатов, их пересечениям, коэффициенту Жаккара и каппе Коэна.
Визуализация вердиктов, положительных результатов сканеров и их пересечений
fig, axes = plt.subplots(2, 2, figsize=(14, 10))
order = ["clean","suspicious","malicious"]
sns.countplot(data=train_df, x="clawscan_verdict", order=order, ax=axes[0,0], palette="viridis")
axes[0,0].set_title("ClawScan verdict distribution"); axes[0,0].set_yscale("log")
rates = {"VirusTotal":an["vt_pos"].mean(), "Static":an["static_pos"].mean(),
"SkillSpector":an["spec_pos"].mean()}
axes[0,1].bar(rates.keys(), [v*100 for v in rates.values()], color="#d95f02")
axes[0,1].set_title("Scanner positive rate (%)"); axes[0,1].set_ylabel("% flagged")
pc = an["pattern"].value_counts()
axes[1,0].barh(pc.index, pc.values, color="#7570b3")
axes[1,0].set_title("Positive-signal overlap patterns"); axes[1,0].invert_yaxis()
sns.boxplot(data=train_df, x="clawscan_verdict", y="skillspector_score",
order=order, ax=axes[1,1], palette="viridis")
axes[1,1].set_title("SkillSpector score by verdict")
plt.tight_layout(); plt.show()
Построим графики, чтобы нагляднее показать закономерности в данных: распределение вердиктов ClawScan, долю положительных результатов сканеров, пересечения их сигналов и различия в оценках SkillSpector для разных категорий вердиктов. Графики помогут оценить дисбаланс классов, особенности работы сканеров и связь числовых оценок безопасности с итоговыми вердиктами.
Логистическая регрессия для предсказания вердикта ClawScan по тексту SKILL.md и сигналам сканеров
TEXT_COL = "skill_md_content"
NUM_COLS = ["skillspector_score", "static_finding_count",
"skillspector_issue_count", "virustotal_malicious_count"]
TARGET = "clawscan_verdict"
def prep(df):
out = df.copy()
out[TEXT_COL] = out[TEXT_COL].fillna("").astype(str).str.slice(0, 6000)
for c in NUM_COLS:
out[c] = pd.to_numeric(out[c], errors="coerce")
return out
train_p, test_p = prep(train_df), prep(test_df)
get_text = FunctionTransformer(lambda X: X[TEXT_COL].values, validate=False)
text_pipe = Pipeline([
("select", get_text),
("tfidf", TfidfVectorizer(max_features=20000, ngram_range=(1,2),
min_df=3, sublinear_tf=True)),
])
num_pipe = Pipeline([
("impute", SimpleImputer(strategy="constant", fill_value=0)),
("scale", StandardScaler()),
])
features = ColumnTransformer([
("text", text_pipe, [TEXT_COL]),
("num", num_pipe, NUM_COLS),
])
clf = Pipeline([
("features", features),
("model", LogisticRegression(max_iter=2000, C=4.0,
class_weight="balanced")),
])
print("\nTraining classifier (SKILL.md text + scanner numbers -> verdict)...")
clf.fit(train_p[[TEXT_COL] + NUM_COLS], train_p[TARGET])
pred = clf.predict(test_p[[TEXT_COL] + NUM_COLS])
print("\n=== Test-set classification report ===")
print(classification_report(test_p[TARGET], pred, digits=3))
cm = confusion_matrix(test_p[TARGET], pred, labels=order)
plt.figure(figsize=(6,5))
sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=order, yticklabels=order)
plt.title("Confusion matrix (test split)"); plt.xlabel("Predicted"); plt.ylabel("Actual"); plt.show()
test_out = test_p[["skill_slug", TARGET, "clawscan_summary"]].copy()
test_out["pred"] = pred
errors = test_out[test_out[TARGET] != test_out["pred"]].head(8)
print("\n=== Sample misclassifications ===")
for _, r in errors.iterrows():
print(f"- {r['skill_slug']:35s} true={r[TARGET]:10s} pred={r['pred']:10s}")
print("\nDone. Set SAMPLE_SIZE=None for the full dataset.")
Подготовим текстовые и числовые признаки для обучения классификатора. Построим конвейер, который извлекает признаки TF-IDF из содержимого SKILL.md, объединяет их с числовыми показателями сканеров и обучает сбалансированную модель логистической регрессии для предсказания вердикта ClawScan. Оценим модель с помощью отчёта о классификации, матрицы ошибок и примеров неверной классификации, чтобы понять, в каких случаях она работает хорошо, а где ошибается.
Итоги
Этот пример последовательно сравнивает сигналы VirusTotal, статического анализа и SkillSpector и обучает модель предсказывать разметку ClawScan. Оценка показывает, насколько модель повторяет эту разметку; она не доказывает, что проверенный навык безопасен. Этот рабочий процесс позволяет изучить распределение вердиктов безопасности и понять, как объединить сигналы нескольких сканеров в простую систему прогнозирования. В дальнейшем анализ можно расширить, используя весь набор данных, более мощные текстовые модели или дополнительные признаки из сводок сканеров и метаданных навыков.
