動画の自動編集機能実現のためにNeural Network Librariesを活用されている「isuca(イスカ)」をご紹介します。
isucaプロジェクト 公式WEBサイト
http://www.isuca-pj.com/
isuca は、撮影、編集、納品といった一連の動画制作の工程を自動化することで、動画コンテンツを簡単かつ低コストで作成できる自動動画制作ソリューションです。
簡単操作&低コストの自動動画制作ソリューション「isuca®(イスカ)」をファッションECサイト向けに導入開始
https://www.sony.co.jp/SonyInfo/News/Press/201801/18-008/
撮影した動画は自動的にisucaのクラウドサーバーへ転送され、Neural Network Libraries活用したアルゴリズムによって用途に合わせた動画コンテンツに自動で編集されます。ファッションECサイト向けの場合は、撮影した動画の構図を解析し、全身やトップスにズームした動画など、最適な構図に自動で編集します。ひとつの撮影動画から、動画の長さやファイルサイズの異なる動画を複数パターン同時に制作することも可能です。
Neural Network Librariesは様々なOSやハードウェアで実行可能な汎用性、少ないプログラミング量で直感的に機械学習モデルを設計できる効率的な開発環境、最新のディープラーニング手法に対応可能な柔軟性、最速クラスの学習・実行スピードなどが特徴です。この開発環境により、様々な用途に合わせた編集システムのカスタマイズを効率的に行い展開していくことで、自動編集のアルゴリズムを拡張させています。例えば、ファッションECサイト向けのモデルの全身やトップスへのズームなどの構図への編集アルゴリズムは、ライブハウス向けに開発したボーカルやギターなどにズームした構図への自動編集アルゴリズムを応用しています。このように応用と拡張を行うことで自動編集の技術を進化させていきます。
最適な構図へ自動編集(イメージ) ※撮影全体から赤枠部分を抜き出しています。