私はいくつかの基本的な信号解析コースしか受けていないので、いくつか欠けているかもしれません。
完全に理論的な質問:
オーディオを表現する方法は何ですか?
オーディオ、具体的にはmusical audioを表現するためにどのような方法を作成できますか?
これまでのところ、私は知っています:
波形の表示(Soundcloudがこれを行います)、「ラウドネス」を見る以外はほとんど役に立たない
スペクトル分析( 例 )、周波数と「ラウドネス」を見るのに適しています
本質的に、曲のノートやビートなどを視覚的に「見る」ことができる方法があるかどうか疑問に思っています。
私の頭の真上から、サウンドクラウドのようなコンテナーで高音、中音、低音を表す3つの異なる色の波を時間の経過とともに表示し、セクションの再生(またはマウスオーバー)を拡大し、周囲の波形を圧縮してコーナー(広角レンズ効果のように)。
編集:これがどこで使用できるかわかりません。これは、現在のオーディオ視覚化テクノロジーに対する私の不満から生まれたものです。
時間をかけてスペクトル分析の3Dグラフを作成することは、すべてが表示されるので「最良の」解決策になると思いますが、最もエレガントでなく、soundcloudなどの場所に移植できない場合があります。
現在のスペクトル分析でさえ解読することは困難です(画像に対して低すぎるレベル):
私は本質的に何がカジュアルなユーザーのためにうまくいくのか、そして曲がどのように再生されるのかを事前に疑問に思っている人々のために疑問に思っています。
これはDSPにクロスポスティングされました:linksauce
少しワイルドカード(実際には2つ)ですが、これを見たことはありますか?
さらに馬鹿げたことに聞こえるかもしれませんが、ディズニーはインスピレーションの良い情報源になると思います(最近、「ダンボ」または「ファンタジア」を見たことがありますか?)。
曲の要素を視覚的に識別できるようにするには、時間枠(専門用語ではフィルタリングされたウィンドウ)と多数の参照サンプルとの間で何らかのパターンマッチングを実行する必要があります。
このプロセスは確かに http://dsp.stackexchange.com でより適切に尋ねられますが、これが実行できると想定して、各参照サンプルに事前定義された視覚的シンボルを使用して、識別されたシンボル(およびこれはUXのドメインへの回答を返します)。
あなたが質問している2つの問題があると思います。サウンドファイルを再生前にサウンドのように見せる方法、およびオーディオを表示する方法while再生中です。
私は最初のケースではあまり役に立ちません(あなたが言及する波形はアマチュアとして比較的直感的ですが)、2番目のケースについて私が知っている慣習はVUメーターです(古い学校のデジタル表現のいずれか)針が回転して動く、または単純なフィールド、またはオーディオが再生されるにつれて満たされる/点灯するいくつかのフィールド)。
これらはオーストラリアのニュースキャストでよく使われ、電話の音声が「音声のみ」であることを示します。