振動AIの精度をどう確かめるか｜同じ軸受を学習と評価に混ぜない

振動AIの評価資料に高い正解率が並んでいても、その数字だけでは軸受交換後に使えるか分からない。先に確かめるのは、学習用と評価用のデータに、同じ軸受から切り出した波形が混ざっていないかである。

これはAIの方式を選ぶ前の問題である。「何万件のデータで検証したか」と「何個の異なる軸受で検証したか」は別の問いだ。本稿は、既設機での振動診断AIを、交換した軸受や別の設備にも適用したい場合の評価設計を扱う。

一つの波形を細かく切っても、軸受の数は増えない

説明用の架空例として、正常な軸受Aと損傷した軸受Bから、それぞれ長い振動波形を取得したとする。波形を短い区間に分け、無作為に学習用と評価用へ振り分ければ、AとBのデータが両方に入る。

この評価で当てたのは、損傷の特徴とは限らない。AとBに固有の信号を手掛かりにしても、正解できる構成だからである。区間数が増えても、「初めて見る軸受に通用するか」という問いには答えられない。

João Paulo Vieira氏らは、軸受単位で分ける評価と、同じ軸受の波形が双方に入る評価を比較した。確認した2025年の公開原稿では、CWRU、PU、UORED-VAFCLSの三つのデータセットを使い、分割方法によって成績が大きく変わることを示している。筆頭著者の公開時所属は、ブラジルのサンタカタリーナ連邦大学・電気電子工学部門である。ここで参照するのはarXiv v1のプレプリントであり、後の掲載版と結果を混同しない。[1]

ただし、同じ設備の将来状態を監視する評価まで、すべて不適切という意味ではない。目指す使い方に応じ、同じ個体の未来を当てたいのか、未経験の個体へ広げたいのかを先に決める必要がある。

評価資料には「分けた単位」を一行で書く

導入側が最初に依頼したいのは、評価グラフの追加ではなく、データの対応表である。少なくとも、設備ID、軸受の交換履歴、収録日時、センサ位置、運転条件、正常・異常の判定根拠を結び付ける。

設備IDだけでは、同じ設備で交換前後の軸受を区別できない。反対に、同じ収録波形から作ったファイルへ別IDを付けても、独立した評価データにはならない。管理上のファイル名と物理的な個体を分けて扱うことが要点である。

これは評価計画を話し合うための整理例であり、各行を満たせば性能が保証される表ではない。交換・設備・時期の違いが重なるなら、それぞれを記録し、どこまでを今回の評価で確認できたかを限定する。

グループ単位で学習と評価を分ける考え方は、scikit-learnの公式資料でも説明されている。同じグループが双方へ入らない分割を使えるが、何をグループとするかは業務側で定める必要がある。手法の名前だけで、個体の混入を防げたとは言えない。[2]

成績が下がったら、原因を見ずに分け直さない

個体を分けた途端に成績が下がると、無作為分割へ戻したくなる。しかし、交換後の適用を目指すなら、その低下こそ導入判断に必要な情報である。評価用データを見ながら条件を選び直すのではなく、どの設備、負荷、損傷で誤ったかを整理する。

例えば、説明用の検討場面として、正常な交換直後の軸受だけ異常判定が増えたとする。まず取付条件や収録位置の差、正常ラベルの確認方法を調べる。次に、その条件の別個体を追加して評価できるかを検討する。「正常データを増やす」だけでは、同じ軸受の区間数だけが増える可能性が残る。

異常側も、何をもって正解としたかが重要だ。分解確認、交換部品の観察、専門家の判定など、根拠と確認時点を残す。未分解の警報をそのまま損傷確定として扱えば、AIの評価以前に正解ラベルが曖昧になる。

公開データの高得点と、自社設備の判断を分ける

CWRUの公式説明によると、試験では放電加工で単一の損傷を導入した軸受を使い、モータの試験装置で振動を収録している。センサ位置や負荷条件も記録されている。条件が明確な比較用データであって、自然劣化する自社設備すべての代表ではない。[3]

したがって、公開データでの成績は方式比較の材料として読み、自社の見逃し・誤警報を測った数字とは分ける。軸受単位の分割をしても、損傷側だけに測定環境の違いがあるなど、別の手掛かりが残る場合はある。分割方法だけで現場適用を保証しないことも、原稿が指摘する限界である。[1]

受入れ評価では、正解率一つではなく、見逃した異常と不要な警報を別々に示すと判断しやすい。連続する多数の区間を一括で数えるだけでなく、設備ごと、運転期間ごとの誤りも確認する。これは導入側の評価の提案であり、本稿が共通の合格値を示すものではない。

評価の打合せで、成績表と照合したいこと

導入前の打合せでは、「異常を当てた一例」と「評価した全体」を分けて提示するとよい。正しく検出した事例だけでなく、正常を異常とした事例、異常を見逃した事例、正解を確定できない事例を並べる。確認できない事例を都合よく正常へ入れず、評価から除いた理由を残す。

設備ごとの収録時間にも注意したい。一台の長時間記録が多くの区間を占めると、区間単位の集計はその設備の結果に強く左右される。全体の成績と設備別の成績が食い違うなら、運転時間と異常の内訳へ戻って確認する。「件数が多い」という説明だけで、評価の広さを受け入れないためである。

評価の前には、異常判定後にどの点検を行い、結果を誰が確定するかも決める。試行中のアラートを無条件に交換指示へ直結させず、従来の診断や運転管理の中で照合する。検出結果と、その後の確認を別々に残せば、誤警報なのか、早い段階の変化だったのかを後から検討できる。

次の試行に残すのは、モデル名より評価の範囲

試行結果には、モデルと設定の版、学習・調整・最終評価に使った個体と期間、除外したデータと理由、想定する運転範囲、確認できなかった異常を残す。同じ最終評価を何度も見て調整した場合は、その事実も記載し、独立した評価結果と区別する。

保全側は交換履歴と異常の根拠を、分析側は分割条件と誤りを説明できる状態にする。この対応が設備台帳や点検履歴に戻れば、次回は「精度が上がった」だけでなく、「未経験の軸受をどこまで確かめたか」で比較できる。

生成AIが書いた診断説明の根拠確認は、別の保全AIの回答検証記事で扱っている。本稿の振動分類の評価と合わせ、数字と説明の両方を導入判断につなげる。

参考文献

[1] Vieira, J. P.ほか（2025）『Towards a more realistic evaluation of machine learning models for bearing fault diagnosis』arXiv:2509.22267v1、2025年9月26日。公開原稿25ページの3.1.1、4、6、7節を参照。原文・版指定

[2] scikit-learn公式ドキュメント『Cross-validation: evaluating estimator performance』3.1.2.4、グループを伴う交差検証。公式資料

[3] Case Western Reserve University, Bearing Data Center『Apparatus & Procedures』。損傷導入、試験装置、収録条件。公式資料