説明可能AI (XAI)

SHAP (SHapley Additive exPlanations)

ゲーム理論の Shapley値 を機械学習の特徴量寄与に応用。各特徴が予測値にどれだけ貢献したかを公平に分解する。

基本概念

予測値 = ベース値 (E[f(X)]) + Σ shap_value(feature_i)

各 shap_value は「その特徴を加えると平均的に予測がどれだけ動いたか」

PyTorchモデル向け実装

import shap
import torch

# 学習済みモデル（評価モード）
model.eval()

# 背景データ（参照分布）
background = X_train[:100]    # 100サンプル

# DeepExplainer はディープラーニング向け
explainer = shap.DeepExplainer(model, background)

# テストサンプルでSHAP値を計算
shap_values = explainer.shap_values(X_test[:10])

# 可視化（特徴重要度の summary plot）
shap.summary_plot(shap_values, X_test[:10], feature_names=feature_names)

# 1サンプルの内訳
shap.force_plot(explainer.expected_value, shap_values[0], X_test[0])

画像モデル向け（GradientExplainer）

# 画像分類モデルの場合
explainer = shap.GradientExplainer(model, background_images)
shap_values = explainer.shap_values(test_images)

# 各クラスについてSHAPマップを画像オーバーレイ表示
shap.image_plot(shap_values, test_images.numpy())

LIME (Local Interpretable Model-agnostic Explanations)

注目サンプル周辺で複雑なモデルをシンプルな線形モデルで局所近似することで、ローカルな説明を得る。

アルゴリズム

1. 説明したいサンプル x の周りに摂動サンプルを大量生成
2. 各摂動について元モデルで予測
3. 摂動と x の距離を重みにして、線形モデル（LASSO等）を学習
4. 線形モデルの係数が「特徴ごとの寄与」

テーブル/画像/テキストへの適用

from lime.lime_tabular import LimeTabularExplainer
from lime.lime_image    import LimeImageExplainer
from lime.lime_text     import LimeTextExplainer

# === Tabular ===
explainer = LimeTabularExplainer(
    X_train.values,
    feature_names=feature_names,
    class_names=['neg', 'pos'],
    mode='classification',
)
exp = explainer.explain_instance(X_test.iloc[0].values,
                                 model.predict_proba,
                                 num_features=10)
exp.show_in_notebook()

# === Image ===
def predict_fn(images):
    # numpy (N, H, W, 3) → torch → softmax確率
    x = torch.tensor(images).permute(0, 3, 1, 2).float() / 255
    with torch.no_grad():
        return model(x).softmax(1).numpy()

explainer = LimeImageExplainer()
exp = explainer.explain_instance(image_np, predict_fn,
                                 top_labels=3, num_samples=1000)
img, mask = exp.get_image_and_mask(exp.top_labels[0], positive_only=True)

Captum (PyTorch公式XAIライブラリ)

PyTorch生まれの統合XAIライブラリ。Integrated Gradients / Saliency / GradCAM / DeepLift など多数の手法を統一APIで使える。

Integrated Gradients (画像分類)

from captum.attr import IntegratedGradients, NoiseTunnel
from captum.attr import visualization as viz

model.eval()
ig = IntegratedGradients(model)

# 帰属マップを計算
attributions, delta = ig.attribute(
    input_tensor,                    # (1, 3, H, W)
    target=predicted_class,
    return_convergence_delta=True,
    n_steps=50,                      # 補間ステップ数
)

# 可視化（元画像にヒートマップオーバーレイ）
viz.visualize_image_attr(
    attributions.squeeze().cpu().permute(1, 2, 0).numpy(),
    original_image=input_tensor.squeeze().cpu().permute(1, 2, 0).numpy(),
    method='blended_heat_map',
    sign='positive',
)

Grad-CAM (CNN専用)

from captum.attr import LayerGradCam, LayerAttribution

# 最後のConv層を指定
target_layer = model.layer4[-1]
gradcam = LayerGradCam(model, target_layer)

attrs = gradcam.attribute(input_tensor, target=predicted_class)

# 入力サイズにアップサンプル
upsampled = LayerAttribution.interpolate(attrs, input_tensor.shape[-2:])
heatmap = upsampled.squeeze().cpu().numpy()

Captum 主要メソッド早見表