T.Ishii's Software Library

HTML5 レトロ風ゲーム館

無料ブログはココログ

« 音声ビューアの追加を予定 | トップページ | このタイミングで値上げ!? »

実用性を鑑みて

今は、AmuseGraphics Ver1.4.4の開発フェーズで、AG-ムービーカッターの更新作業中なのだが、今回の更新では、素材の音声や映像の変化を検索可能にする予定だ。ただし、実用性を鑑みて、大げさな操作を要求する事になりそうだ。

今日の時点で、とりあえず、音声の検索は可能か? みたいな事をやってみている。

具体的には、アナログレコードの再生音を連続して録音したデータから、曲間の無音部分を検索可能か? みたいな事をやってみているのだが、こういう検索なら、普通に、0.1秒単位で音量の最大値をデータ化し、その内容をグラフ化して見てみると、明らかに、曲間の無音部分は、視認可能だ。

もちろん、その為には、グラフに、その曲間を視認可能なくらいの横幅を持たせる必要があるのだが、この点については、20分くらいの音声データを600ピクセルくらいの横幅で全て表示しても、1200秒を600で割ることになるので、1ピクセルは2秒になる。

そして、アナログレコードの曲間は大体は2秒以上はあるので、無音期間を視認可能なのだが、グラフをより拡大すると、より分かりやすくなる。

と、言う事で、無音期間の検索というのは、グラフ化してしまえば、目視で簡単に行えるし、この場合には、自動で検索するよりも、信頼度も増す訳だ。

つまり、自動で無音部分を検索しても、本当か? みたいな感じになる、という事もあるのだが、検索には、それなりに時間がかかる、という事もある。

具体的には、前述の20分の音声ファイルから、ボリュームデータを作成してみた場合、その処理にCore i7-12700のiiyamaPCで、30秒くらいを要している。

まあ、これはシングルスレッド動作でやっているので、iiyamaPCの場合、マルチスレッド化すれば、10倍くらいの速度は出るかもしれないのだが、だとしても、20分のデータで3秒かかる計算になるので、120分ある映画のデータなんかで音声検索したければ、3*6=18秒くらいは、ボリュームデータの作成に時間を要する訳だ。

もっとも、自動検索の場合、何も、全領域のデータを先に作成する必要はないので、検索が上手く行く場合には、一瞬で結果が出る場合もある筈なのだが、最悪、120分の映画のデータを検索すると、Core i7-12700のiiyamaPCでさえ、20秒くらいは待たされる事になる訳だ。

更に言えば、上記は、かなり真面目にマルチスレッド処理を作り込んだ場合の話になるので、普通にシングルスレッド動作させれば、200秒、つまり、3分も待たされる可能性がある訳だ。

と、言う事なので、何度も検索を繰り返す様なシチュエーションを鑑みると、検索のたびに音量データを作るのは非効率的なので、まず、音声検索をしたい場合には、ボリュームデータを補助データとして作成し、検索は、そのデータを読み込んだウインドウ上で行える格好にしようか、と、考え始めている。

映像の変化点を検索するのは、もっと処理時間が必要になるので、1度、検索を失敗し、検索条件を変えて、また検索してみる! みたいな事をやろうとするなら、やはり、毎回、変化データを作成しつつ検索をするのは効率が悪くなる。

なので、映像変化についても、まず、最初に変化データを作成してファイル化しておき、後から、そのファイルを読み込んで、そのデータを視認できるウインドウ上で、目視で検索したり、自動検索させたりする! というのが実用的かなあ、みたいな感じになってきている今日この頃だ。

ちなみに、音声のボリュームデータというのは、見慣れている人も多いかもしれないし、グラフを見れば、直感的に分かる筈だ。

これに対して、映像の変化量をグラフ化したデータというのは見慣れている人は殆どいない筈だし、実際の所、意味不明に感じる人も多い筈だ。

なので、最悪、映像変化の検索機能の追加は無しにするかもしれないのだが、実際の所、データを作成して、そのデータを読み込んでウインドウに表示したり、自動検索させたり、というのは、データが音量を表していようが、画像変化を合わせしていようが、プログラム的には大した違いはない。

と、言う事なので、やっぱり、映像変化の検索も可能にする! という事にするかもしれないのだが、実用上は、画像変化の検出のためには、それなりの処理時間がかかるので、そんな事をするよりは、映像を手動シークしながら流し見した方が早い! なんて事になるかもしれない。

しかしまあ、流し見の場合、一瞬の変化は見落とす事になるので、やはり、処理時間をかけても映像変化をフレーム単位で確認できるプログラム機能というのは、あった方が心強いのかもしれない。

まあ、そんな機能を使う必要がある人は、殆どいないかもしれない、というのが問題にはなるのだが。

« 音声ビューアの追加を予定 | トップページ | このタイミングで値上げ!? »

2025年2月
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28  

広告

プライバシーポリシー

  • 当サイトでは、第三者配信による広告(Google Adsense)サービスを利用しています。

    Google を含む第三者配信事業者は、Cookie を使用して、ユーザーのウェブサイトでの閲覧履歴に基づく広告を配信します。 Google 広告 Cookie を使用することにより、Google や Google のパートナーは当サイトや他のサイトへのアクセス情報に基づく広告をユーザーに表示できます。

    収集された情報がGoogleによってどの様に使用されるか、収集される情報をユーザーが管理する方法については、以下のリンクを参照下さい。

    ポリシーと規約 - Google