[メモ]メディアセンタセミナに出てみたよ(大量映像+データマイニング)

Twitterにぺこぺこ書き出してたもののメモ.

  • Background: 膨大な量の映像情報,映像アーカイブが利用できるようになった.既に公開されていて利用できる. [メ-セ #taki-memo] posted at 16:35:27


  • 現代の画像・映像検索というのは中身の概念や意味などの情報に直接的にアクセスできているわけではないのが問題だ [メ-セ #taki-memo] posted at 16:37:47


  • 簡単な検索では,良い結果も入るが,変な結果もたくさん出てきてしまって,明らかに検索が失敗してるような感じが見てとれる.画像の周辺にあるテキストを使って検索してると,失敗が多い. [メ-セ #taki-memo] posted at 16:39:35


  • 85%の画像データはテキストデータ(タグ,記述)がどうも付いていないらしい. [メ-セ #taki-memo] posted at 16:40:26


  • 提案: タグを計算機で自動的に付けることが出来れば解決するじゃないか. [メ-セ #taki-memo] posted at 16:41:04


  • 動画・画像のSemantic Content Analysisを行うとき,一般には学習するためのデータを用意して機械学習の手法を用いる.その後,未知の動画・画像について判断を行う.しかし上手くいくのか? [メ-セ #taki-memo] posted at 16:42:27


  • 難しさの一旦としては,人間の意識できるsemantics:意味と画像や動画の表現:representationとの間に存在するgapにある.Computerが人間のような柔軟な視覚を持つことはまだ難しい. [メ-セ #taki-memo] posted at 16:44:36


  • media dataから,意味のあるsegmentをどう抽出したらいいのだろう. [メ-セ #taki-memo] posted at 16:46:08


  • idea: Webとのanalogyを考えてみる.通常のkeyword検索よりも,高度なweb検索について考えてみる.例えばwebにはリンク情報が存在する. [メ-セ #taki-memo] posted at 16:47:43


  • web pageへの重み付け,重みの推定のようなことが映像についても応用できないだろうか.web の linkのようなものを考えることができないか? → 映像のcopyを検出して潜在的なlinkとして使うというideaはどうだろう. [メ-セ #taki-memo] posted at 16:50:32


  • 映像には似た部分が何度も出現したり,別のチャンネルにも出現したりする,そんな感じのものを抽出する,など.意図的に複数回使われる映像片に注目できないか? [メ-セ #taki-memo] posted at 16:51:37


  • 要請: とにかく大量の映像をロバストな検出方法で高速に処理する必要がある.また検出結果をどのように利用するのか,も大切になる. [メ-セ #taki-memo] posted at 16:53:43


  • 難しい部分: 映像コピーの検出 = 画像の特徴量間での対応付け.どれほど柔軟な一致性判定ができるか? [メ-セ #taki-memo] posted at 16:55:39


  • 難しい部分: 映像コピーの検出 = ショット間の対応付け.どこからどこまでがコピーで同じようなことを言っているのか?を見つける. [メ-セ #taki-memo] posted at 16:59:42


  • 映像コピーの検出: 問題設定 – 検索したい映像のデータベースがあるとき,対象となる映像にその映像が出現するか,どのように出現するのかを発見する. [メ-セ #taki-memo] posted at 17:00:17


  • 映像コピーの発掘(Mining) – 映像のデータベースを想定せずに,ストリームだけを与えて,相互にコピーであるような映像片を発掘する問題設定. – 単純には自分と自分の照合を行う(ただし大変) [メ-セ #taki-memo] posted at 17:02:05


  • Fast Video Copy Detection.局所特徴量に基づく手法らしい.検出と発掘を同じフレームワークで行える技術. [メ-セ #taki-memo] posted at 17:03:42


  • Extract descriptors & Buckets. たぶん上手くいくらしい.quick and dirtyっぽいような(感想). [メ-セ #taki-memo] posted at 17:05:11


  • 比等間隔gridのようなものを考えて,局所特徴量を量子化→2進表示する.set-of-words,のような,それをフレームの表現として使う(よく分かってない).→Hash→k-NN. [メ-セ #taki-memo] posted at 17:09:20


  • 比較的ちかい点の3つ組を基本データとして使う.3つ組〜三角形.その特徴量を3つ組に対応するBucketsに挿入する.3点が幾何的情報を少し含み,特徴量が…. [メ-セ #taki-memo] posted at 17:12:08


  • Bucketは超大規模&疎になるらしい.そこから実際のコピー検出のために,Bucketを探索する.実際の処理.複数がBucketに入っていれば,三角形の形状が近いかを確認する.その後処理をする. [メ-セ #taki-memo] posted at 17:16:37


  • CM検出・CM同定のMining技術の話.できるだけ高速(時間:1ヶ月分の全てのCM映像の検出&同定に1時間程度). Unsupervisedな機械学習. Dual-stage hasing algorithm. [メ-セ #taki-memo] posted at 17:20:13


  • メモ: Temporal Occurrence Hashing [メ-セ #taki-memo] posted at 17:21:15


  • TOP(Temporal Occurrence Pattern)を作る.まったく同じシグニチャを持つ部分をTOPとする.らしい.TOPを使った時系列パターンマイニングみたいなもんか? [メ-セ #taki-memo] posted at 17:23:18


  • ペア+ハッシュ+マイニングというのは自分もよく見るdata miningの技法の一つな感じがするので,よく使われるんだろうなぁ.対(x, y)とhashは仲がいいんだろう [メ-セ #taki-memo] posted at 17:26:10


  • 時系列的な頻出パターンマイニングはこの前簡単に聞いたばかりなのに(といっても3月終わり),全然覚えてないな.ノートとかに書いてあるだろうか. [メ-セ #taki-memo] posted at 17:30:29


  • 実際にdata miningしてみると,どうもcmの種類によって流れてる時間帯は違うらしいですね,もちろん当然かもしれないですが.狙ってやってるはずですが,実際にそういうデータが出ると微笑ましいような [メ-セ #taki-memo] posted at 17:31:23


  • まとめ: 映像コピー検出技術の話をしました.この技術が面白いのは大量データがあるからなんですけどね.もっと潜在的リンクを利用していろいろしたい&いろんなアプリケーションを考えたい(たぶんこんな感じ) [メ-セ #taki-memo] posted at 17:35:32


  • 次のTALK. [メ-セ #taki-memo] posted at 17:45:00


  • title: ライフログ・グループログ映像のマイニングに向けて [メ-セ #taki-memo] posted at 17:45:49


  • 昔のライフログ: センサー付けてぱちぱち.一番richな情報は映像だと思った.道具もよくなってきて,映像は撮りやすくなった. [メ-セ #taki-memo] posted at 17:47:00


  • ライフログの目的は何だろうか.ex: 外部記憶として.網羅的な行動記録として.→誰得なんだろう?.人によって必要性は違う [メ-セ #taki-memo] posted at 17:48:19


  • ライフログの例: Sensecam.FoodLog.SUICA.ライフログのすすめ/Lifelog Business [メ-セ #taki-memo] posted at 17:51:25


  • 大量データがあります→miningしようというのは,とてもよくある流れですよね.あるあるですよこれは.やり方もいろいろあります.いいかどうかは分からない. [メ-セ #taki-memo] posted at 17:52:45


  • 大量データからいかにessentialな部分だけを抽出するのか,という問題はdata miningの方ではとても大きな問題の一つだ. [メ-セ #taki-memo] posted at 17:54:18


  • 要約と構造化 [メ-セ #taki-memo] posted at 17:56:06


  • 5W1Hはかなり行動(ログ)の意味に近いので,そもそも扱うことが難しい. – よくある話かな? [メ-セ #taki-memo] posted at 17:57:01


  • どんな機能が欲しい?不快感がないとか,プライバシーとか,コストとか,整理閲覧のストレスとか.→一般的な話だと難しいよね→ある一定の層にfocusしちゃえ. [メ-セ #taki-memo] posted at 17:58:07


  • ちょっと苦手な方の話へ流れていってる. [メ-セ #taki-memo] posted at 18:01:10


  • 多方面から見た情報とかあると面白そうだけど,とても難しそう.固定カメラ+時間変化だけでも大変そうだけどな….ライフログ.Twitterもライフログ? [メ-セ #taki-memo] posted at 18:04:52


  • 特徴量の抽出とか選択というのは,それだけで専門家がたくさーんいるdeepな世界だと昔聞いた記憶がある. [メ-セ #taki-memo] posted at 18:18:04



誤字脱字,そのままです

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です