GPUでノイズをリアルタイムで除去するRTX Voice
グラボで有名なNVIDIAが、ゲーム向けの高性能グラボRTXシリーズ用として、音声チャット用にPCのマイクで拾った音声に含まれるノイズ(騒音やキーボードの打鍵音等)をリアルタイムで除去して、相手が聞き取りやすくするプラグイン、RTX Voiceのβ版を公開しました。
昨年あたりから、グラボのGPUとAIを組み合わせたアプリがでているようですし、対象とあるグラボはゲームしないとご縁が無いような高性能なものでしたが、現在公開中のバージョンは、インストーラーの定義ファイルに呪文をかけると・・・・なんと、RTXシリーズだけではなくGTXシリーズ、しかも1000番台でも動作するとのこと。
もしや私のGT730でも動くかも・・・とインストールしてみると、インストールは呪文のお蔭で無事完了しましたが、起動しても出力が稀に聞こえる状態で、設定していてもある時は聞こえたり、他の設定をいじると、聞こえなくなったりと、不安定というか、オーディオデバイスとして上手く動作してくれません。
やはりGTXの1000番台が安定動作の最低ラインみたい・・・・・。そこで最近は安価になってきたGTX1050のロープロファイル版のグラボをポチッとしちゃいました。デュアルファンだけど・・・まぁ、そんなに煩くないとのことですし、消費電力も300W電源で安定動作してるとの情報があったので選びました。
翌日手元に届いたので、早速現用のPCのグラボを交換してみると、RTX voiceは普通に動作していました。やはりGT730では正常に動作しないようです。ま。もともとRTXシリーズ以外のグラボでは動作しません・・というか、インストールさせません・・・・ってアプリですから、GTX1050で動作するだけでラッキー!なわけ。
翌日手元に届いたので、早速現用のPCのグラボを交換してみると、RTX voiceは普通に動作していました。やはりGT730では正常に動作しないようです。ま。もともとRTXシリーズ以外のグラボでは動作しません・・というか、インストールさせません・・・・ってアプリですから、GTX1050で動作するだけでラッキー!なわけ。やはりGTXの1000番台が安定動作の最低ラインみたい・・・・・。
早速オンエアでテスト。環境は以下の通り。
webカメラ内蔵USBマイクで収録、RTX voiceにて処理or未処理を設定、RTX voiceの出力をSOUND BLASTERのS/P DIFへ出力するように設定。
S/P DIF出力をIC-7851のデジタル入力端子へ入力、100~2900Hzの帯域設定のSSBでダミーロード送信。IC7000の受信帯域を0~3000Hzに設定し、59+10dB程度で受信したオーディオ信号を録音。なお、録音の都合上、IC7000のAGCは最長の6秒に設定しています。
ほぼ実運用環境で、59++なら、こんな感じで聞こえるはず。
前半はノイズキャンセルなし、後半、ノイズキャンセルをonにした瞬間から、煩い騒音が無音になるのがわかると思います。ノイズキャンセル中は、口笛吹いても消されて無音になります。SSBでパワーみるのに、ピーとかやってもパワーは全く出ませんので「???」とか、最初はあります。音質劣化も感じますが、騒音バックにしているよりも、かなり印象が変わると思います。
いままでは、機材を使って騒音を軽減してQRVしていましたが、騒音背負ってSSBに出る気はしませんでした。でも、これでエアコン等環境騒音がうるさいシャックからSSBにQRVするモチペーションがあがりました。
| 固定リンク
この記事へのコメントは終了しました。
コメント
最近話題になているテレワークで用いられているZOOMシステムにもノイズキャンセル機能が搭載されており、これもAIで実現しているようです。
周辺の連続的や断続的なノイズが気持ち良く除去されます。モールス信号のような単一周波数の信号もノイズと判定されキャンセルされてしまいます。
実験的にS/Nが悪いSSBの受信音を入力すると、少々、処理による声の変化に違和感がありますが、最新のディジタル処理の無線機と同等以上の効果が確認できます。
従来のアルゴリズムによるノイズキャンセルではないので、無線機の受信音のようなさまざまなノイズを含む信号のノイズキャンセルに柔軟に対応できるように感じます。
GPUのような専用プロセッサを用いていないので、この技術を無線機に搭載することも可能と思われます。
投稿: JA1IAZ | 2020年5月19日 (火曜日) 11時50分
IAZさん
こんにちは。コメントありがとうございます。ZOOMだとKRISPのことかな?KRISPも試そうかと思っていますが、試用後は月額利用料が発生するので躊躇しています。
やはり受信でも効果ありましたか?こちらは送信での評価がおわったら受信でもテスト試用と思っていますが、まだテストできていません。
こういうノイズリダクションは無線と相性が良いと思います。近い将来無線機に搭載されると想像しています。
投稿: JI1ANI/福井 | 2020年5月19日 (火曜日) 14時54分
AIってノイズのないデータを学習し、ノイズを学習することで、ノイズのある情報からノイズを除去できるということですが、これがその実例なんですね。 送信時もそうですが、受信時にこれが聞けばノイズのない受信機ができればいいな。
投稿: nitta | 2020年10月 9日 (金曜日) 19時13分
nittaさん
早く無線機に搭載してほしいですよね
投稿: JI1ANI/福井 | 2020年10月 9日 (金曜日) 23時13分