Web Audio APIでドラムパッドが遅延なく鳴る仕組み

目次
画面のドラムパッドをマウスで押した瞬間、音が飛び出してきます。クリックしてから音が出るまで一拍おくような感覚はほとんどなく、まるでボタンとスピーカーが直接つながっているように感じられます。
これは偶然ではありません。ブラウザがクリックという入力を受け取って音という出力を出すまでに、音をどのような形で準備しておくかによって、そのあいだの時間、つまりレイテンシーが大きく変わるからです。
まとめ ① レイテンシーは、多くの場合「再生できる状態に準備する処理」がクリックのあとに入り込むことで生まれます。 ② Web Audio APIは音を小さな処理ノードのグラフとして扱い、クリックした時点ではパラメーターの計算と再生の指示だけを行います。 ③ このバーチャル楽器プレイヤーは録音した音源ファイルそのものを使わず、クリックした瞬間にコードで波形を直接合成します。
クリックと音のあいだ、レイテンシーはどこで生まれるのか
レイテンシーとは、何らかの入力(クリック、キー入力)が入った時点から、その結果である音が実際に出る時点までにかかる時間のことです。ウェブで音が遅れて出る場合、多くはそのあいだに「再生できる状態にする処理」が挟まっているためです。
音声ファイルをその都度読み込んで再生すると仮定すると、ファイルをダウンロードする時間と、圧縮されたオーディオを人が聴ける波形に解くデコードの時間が、クリックのあとに順番に挟まります。この処理が終わらないと音は始まらないので、クリックと音のあいだに人が気づけるほどの間隔が生まれます。
Web Audio APIはこの処理をどう変えているのか
Web Audio APIは、音をひとつの完成したファイルとしては扱いません。オシレーター・フィルター・音量調整といった小さな処理単位(ノード)をつないだグラフとして扱い、このグラフはAudioContextというオーディオ専用の時計の上で動きます。
録音した音源ファイルを使う楽器アプリでも、通常はページが開いたときにすべてのサンプルをあらかじめデコードして、再生できる状態でメモリに載せておきます。そうすればクリックした時点では、すでに展開済みのデータをノードにつないで再生信号を送るだけで済むので、その瞬間に新しくデコードする必要はありません。
クリックのたびにファイルを読み込み直すとしたら
逆に、クリックのたびに音源ファイルを最初から読み込み、デコードする方式だったと仮定します。1回クリックするごとに非同期の読み込みとデコードが毎回新しく始まるので、音が出るまでの遅れがそのたびに繰り返されます。
複数の拍をすばやく連打するような場面では、この遅れはさらに目立ちます。前のクリックの準備が終わる前に次のクリックが入ると、音がずれたり、順番が入れ替わって聞こえたりすることがあります。
クリックするかキーボードのA・S・D・F、1〜8を押すと、ドラムとシロフォンの音がその場で合成されて再生されるバーチャル楽器プレイヤー

このバーチャル楽器プレイヤーは実際にどう音を作っているのか
このツール「バーチャルドラムパッド&オンライン楽器プレイヤー」はさらに一歩進んで、録音した音源ファイルそのものを使いません。キックドラム・スネア・ハイハット・タムタムとシロフォン8音のすべてを、クリックした瞬間、または割り当てられたキーを押した瞬間に、コードが波形を計算して作り出します。
キックドラムは、オシレーターの周波数を150Hzから一瞬で下げていく信号と、音量を同時に絞っていく調整を、クリックした時点で組み合わせて作ります。スネアとハイハットは、ランダムな値で埋めた短いノイズ波形をフィルターに通して作り、シロフォンは音ごとに決まった周波数の波形に倍音を重ねて打鍵音を出します。
この計算は、ファイルを読み込んだり圧縮を解いたりする処理ではなく、いくつかの数値を決めて短い配列を埋める軽い演算です。そのためクリックとほぼ同時に終わってしまい、人がその時間差を感じる隙がありません。
オーディオコンテキスト自体も最初のクリックで一度だけ作られ、以降のクリックではすでに作ってあるコンテキストをそのまま再利用します。ただしブラウザの自動再生ポリシーにより、ユーザーの入力がないと再生が解除されないため、ブラウザによってはページに来て最初に音を聴く前に、どこか一度クリックする必要があります。
まとめ
- レイテンシーは、クリックのあとに「再生できる状態に準備する処理」が挟まることで生まれる体感上の遅れです。
- Web Audio APIは音をノードグラフとして扱い、再生の時点ではパラメーターの計算と指示だけを行います。
- 録音ファイルを使う楽器アプリは、通常はページの読み込み時にサンプルをあらかじめデコードしてこの遅れをなくしています。
- 「バーチャルドラムパッド&オンライン楽器プレイヤー」はさらに一歩進んで、音源ファイルなしで、クリックした瞬間にオシレーターとノイズで音を直接合成します。
- オーディオコンテキストを一度だけ作って再利用することも、クリックのたびに繰り返される初期化コストをなくす要素です。
クリックするかキーボードのA・S・D・F、1〜8を押すと、ドラムとシロフォンの音がその場で合成されて再生されるバーチャル楽器プレイヤー
よくある質問
レイテンシーとは正確にはどういう意味ですか?
何らかの入力が入った時点から、その結果が実際に現れる時点までの時間差を指します。この記事では、パッドをクリックした時点と、スピーカーから音が実際に聞こえる時点との間隔を指します。この間隔が短いほど、クリックと音が同時に起きたように感じられます。
このアプリは録音されたドラム音を再生しているのですか?
いいえ。キックドラム・スネア・ハイハット・タムタムとシロフォンの音すべてを、録音された音源ファイルを読み込む方式ではなく、クリックした瞬間、またはキーを押した瞬間に、オシレーターの周波数変化とランダムなノイズ波形をコードで計算し、その場で合成しています。そのためファイルを読み込む段階そのものがありません。
なぜページに来てどこか一度クリックしないと音が出ないのですか?
ブラウザの自動再生ポリシーのためです。クリックのようなユーザーの操作が一度ないと、音声の再生が許可されないようにブラウザが制限をかけています。このツールは最初の操作でオーディオコンテキストを作成または再開し、以降は同じコンテキストを再利用して音を出します。
ショートカットキー(A・S・D・F、1〜8)を押しても音が出ません。
キーボードの入力モードが英字モードになっていないときによく起こります。このツールは押されたキーの文字の値を英字のアルファベット・数字とそのまま比較して、どのパッドかを判断しています。そのため日本語入力モードのように別の文字として認識されると、割り当てが働きません。入力モードを英字に切り替えてから、もう一度押してみてください。
この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む