Perceptual (Pseudo-Direct) Manipulation
オーディオの領域においては、厳密な意味でのDirect Manipulationは存在しない。
GUIベースのオーディオ操作ソフトは、イラストレーターの図のように出力される結果を直接操作しているわけではなく、音を生成するシステムのメタファーを直接操作している。
ただ、「直接」と呼ぶに値するワークフローとして、Auto-Tuneのようなインタラクティブなピッチ補正のシステムが挙げられる。
これは、厳密に表現をするのであれば、
- 一度オーディオからピッチを分析して、
- そのピッチのカーブをGUIで編集し、
-
- ピッチカーブの差分データと元のオーディオデータを組み合わせて、望ましいピッチを出力するようなオーディオデータを逆方向に計算
しているのだと言える。
では、このワークフローをピッチ分析以外にも、リバーブの量であったり、和音の種類だったり、声の明るさのような、より複雑なデータに対しても適用できないだろうか？
幸いにも機械学習分野でのさまざまな研究をもとにして、[Variational Autoencoder]を応用すればこの仕組みに近いことができるはずだ。