FLAC形式の高音質な定額制音楽ストリーミングサービスで知られるDeezerが、ミックスされた楽曲をボーカル、ドラム、ベース、ピアノ、そのほかの楽器に分離してしまうプログラムSpleeterをオープンソースとして公開した。
Deezerのもつ膨大な楽曲カタログとマシーンラーニング技術を利用した、AIプログラムによる音源のパーツ抽出のためのツールとなっており、考え方としてはiZotope RX 7のMusic Separationという機能に似ている。無料で使用できるオープンソースでどこまでのことができるのか、気になる音質面や機能などを調べてみた。
分離できる楽器はiZotope RX 7より多い
まず驚くべきことに分離できる楽器の数はSpleeterの方が多い。以下の3パターンでの分離ができ、iZotope RX 7では分離できなかったピアノの分離にも対応している。
Vocals / そのほかの楽器(2 stems)
Vocals / drums / bass / そのほかの楽器 (4 stems)
Vocals / drums / bass / piano / そのほかの楽器 (5 stems)
iZotope RX 7のMusic Rebalanceとの違いや音質は？
RXは本来ノイズ除去や音の修復を目的としたソフトなので、ここではRXに搭載された楽曲の分離機能にあたるMusic Rebalanceにフォーカスして比較する。
RX 7のMusic Rebalanceはその名の通り音楽のリバランス、つまり音量バランスの再調整ができるので、ボーカルやベースといったパートの音量バランスをフェーダーで変更できる。Spleeterの場合は音源を完全に分離して別のファイルにするので、ミックスバランスを変えたい場合はいったんDAWソフトなどに読み込む必要がある。一方で、単純にアカペラやドラムなどパーツだけを抜き出したい場合は、上述のとおりピアノも抜き出せるというメリットがある。
音質面でもSpleeterは無料とは思えないクオリティーで分離されており、ウェブ上でも「かなりクリアにとれる」「分離の速度も非常に高速」といった驚きの声が多く見られた。実際にSpleeterでボーカルを抽出したいくつかの音源がアップされているので聞いてほしい。
▼David Bowie 『Changes』ボーカル抽出
▼Scatman John 『Scatman』
人の声としての認識が難しそうな曲だが、スキャットの部分もボーカルだけになっている。
ちなみにオシャレなカフェでラップトップを開いてこの記事を書いている最中、うっかり90年代一発屋クラシックを爆音で再生してしまうという事故を起こした。慌てて音量を下げつつも、『令和元年にScatman Johnを聴いているのは一周してカッコいいことなんだよ、君たち知らないの？』の顔をしている。
よく聞けば所々フィルターのかかったようなシュワシュワ音が聞こえるが、これはiZotope RX 7でも同様で現在の音源の分離の技術としては充分すぎる音質だ。別のトラックにのせてしまえば、そこまで気にならなくなるレベルだと思われる。音源による得意不得意はあるのかもしれないが、RX 7では曲によってはハイハットやストリングスなどが少しボーカルと一緒に残ってしまうことがあった（それでも革命レベルのクオリティだけど）。Spleeterは他の楽器の音がほとんど聞こえずボーカルだけに残っているのには驚かされる。
Deezerのコメントでは多くの場合、楽曲分離技術の開発で障害となるのは、開発段階で大量の楽曲を入手してアクセスすることが難しいという部分だが、Deezerは自社の取り扱う膨大な楽曲カタログにアクセスできるため、一般的な開発者に比べて多くの音源を利用してマシーンラーニングができたと言及している。また、大量の音源にアクセスできる環境があることは、開発環境として他の分離エンジンの開発者と比べるとフェアではないため、エンジンをオープンソースとして無償公開しているとのこと。
今後DJソフトなどへの技術活用にも期待が膨らむ。
オープンソースということなので前述のRXも競合関係ではなく技術活用の形が考えられるし、DJの方ならボーカル、ドラム、ベース、上ネタに分離できると聞けばDJプレイの活用も思い浮かぶのではないだろうか。Native Instruments社のTraktorで採用されるStems（1曲を4つのトラックで扱える機能）として利用ができるのであれば、DJプレイの幅は数段上のレベルに上がりそうだ。もちろん著作権等の問題はあるので、その辺については責任を理解した上で考えるべきことだが、著作権の問題がクリアになりクラブで刺激的なマッシュアップやリミックスなどを積極的にDJプレイに取り込める環境が出来れば、DJ界に新たな可能性をもたらすことができるかもしれない。
インストール・使い方は少し特殊
プログラムはGitHub上に公開されているが、市販のアプリケーションと違いプログラミング言語Pythonのコードをコマンドラインから実行する使い方になるので、最初は少し戸惑うかもしれない。Gigazineで丁寧な日本語での使い方解説が掲載されているので詳しくはそちらを参照してほしい。
■関連記事 :
音楽プロデューサーも認めたiZotopeの「RX 7」がヤバい! 話題を呼ぶアカペラ制作プラグイン「Music Rebalance」
written by Yui Tamura
source:
https://deezer.io/releasing-spleeter-deezer-r-d-source-separation-engine-2b88985e797e
photo:
https://deezer.io/releasing-spleeter-deezer-r-d-source-separation-engine-2b88985e797e