Open-Unmix for NNablaがオープンソースとして公開されました！
これはソニーとINRIA(フランス国立情報学自動制御研究所)とのコラボレーションによる音源分離技術のリファレンス実装となります。
Open-Unmixは、PytorchやTensorflow/KerasとともにNeural Network Librariesをサポートしています。
音源分離とは、音楽をそれを構成する要素ごとに分解するタスクです。たとえば、ある曲からボーカル、ベース、ドラムといった、楽器ごとに分離されたトラックを生成することが例に挙げられます。
このような分離技術によって、一度ミックスされた曲であってもトラックごとに別のアレンジを加える、カラオケ用にインストゥルメンタルトラックを抽出するなど、多くのアプリケーションが可能となります。
音源分離は非常に難しい問題であるとされ、研究には長い歴史があります。近年、ディープラーニングを利用した音源分離が初めて高い性能を示したことで、ディープラーニングベースの音源分離に対し商業的な関心が高まりました。
しかし、これまで、最先端の研究と同等性能の音源分離が可能なオープンソースソフトウェアはありませんでした。
Open-Unmixは、ディープニューラルネットワークを用いた、高品質の音源分離が可能な世界初のオープンソース音源分離ソフトウェアです。
Open-Unmixの主な目的は次の2つです。
1つは、様々なディープラーニングフレームワークに対応したOpen-Unmixの実装を研究者に提供することによって、他の研究の再現を容易にし、学術研究をさらに加速させることです。
そしてもう1つは、エンドユーザーや、さらにはアーティストでさえも、音源分離を試すことができる学習済みモデルを提供することです。
また、Open-Unmixは音源分離のオープンエコシステムのコアの1つとして設計されており、将来の開発の基盤として再現可能な研究を促進するために、オープンなデータセット、ソフトウェアユーティリティ、オープンな評価をすでに提供しています。
