Quality Assurance of Machine Learning-based Systems

高信頼な機械学習応用システムによる価値創造

QAML(Qality Assurance of Machine Learning-based Systems)コミュニティは、JST未来社会想像事業の機械学習工学に関するQAMLプロジェクト(高信頼な機械学習応用システムによる価値創造)を起源とし、機械学習工学技術の促進と発展を目的としたコミュニティです。主にJST未来社会想像事業eAIプロジェクトで開発したツールや手法を普及、展開させる活動を行っています。

現在、意図したラベルや状況の精度を他のラベルの精度落とさずに向上させる DNN リペアツールおよび、機械学習を応用したAIシステムの安全性を担保するためのモデル駆動型AIシステム開発ツールである安全性フレームワークツールを提供しています。

イベント

今後のイベント予定

チュートリアル:深層学習のリペア技術の最新動向と実際

日時:2024年7月5日(金曜日)9:00~10:30
場所:MLSE夏合宿2024(オンライン開催)

DNNはさまざまなAIシステムで活用されており、自動運転などの高い安全性を必要とするAIシステムにとっても重要なコンポーネントとなります。その安全性を担保する際には、近くの歩行者が認識できないなど、一部の状況で性能が悪くリスクが大きくなる場合にDNNを修正(リペア)して対応しなければならないことがあります。その場合、転移学習など従来の対応方法では、一部の状況で性能改善が、他の状況での性能悪化など別の問題を発生させてしまう可能性が高く、システム全体のリスクを軽減できないことがあります。深層学習のリペア技術は、その問題に対処するために、特定の状況でのリペアが、他の状況の性能劣化に繋がらないように不都合に強く影響している深層学習のパラメータのみを修正します。本チュートリアルでは、深層学習のリペア技術の概要を解説し、最新の技術動向を紹介します。さらに、我々がJST未来社会創造事業のeAIプロジェクトの一貫として公開しているオープンソースソフトウェアのDNNリペアツール( https://github.com/jst-qaml/eAI-Repair-Toolkit )を用いたデモンストレーションを通じて、リペアの実際を示します。

April 14-20, Lisbon, Spain

Deep Neural Networks (DNNs) are used for different tasks in many domains, some safety critical like autonomous driving. When in operation, the DNN could misbehave on some inputs unseen during training. DNN repair is a new emerging technique that tries to improve the DNN to fix these misbehaviours, without affecting the correct behaviours. The technical briefing will give an overview of the different DNN repair techniques that have been proposed in the literature, that differ in the faults they target, the way to localise them, and the technical approach they employ to modify the network. Moreover, the technical briefing will also demonstrate the usage of some of these DNN repair techniques.


© QAML All Rights Reserved.