研究プロジェクト

Microtonal Music Dataset (2023～) 平井 辰典, 長坂 らも，加藤 卓哉 CMMR 2023 　人手で作られた微分音楽曲100曲からなるデータセットを構築．研究用途での利用を想定し，2023年11月から公開． 詳細はプロジェクトページより．

自分のオリジナルのメロディ生成モデルを学習/利用可能なVSTプラグイン (2023～) 平井 辰典 Neural Audio Plugin Competition 2023 　深層生成モデルを用いたVSTプラグインの提案。このプラグインでは、ユーザがピアノロール上に入力したメロディ素片を学習データとして保存し、ユーザのメロディを基に、ユーザのオリジナルのメロディ生成モデルを学習できる。ユーザ専用の生成モデルは、ユーザの特徴を学習し、任意の入力メロディの続きを自動生成してくれる。元の学習データがユーザ自身のメロディデータであるため、他者の作品の影響などを受けていない純粋な生成AIを活用できる。 [YouTube], [GitHub]

量子コンピュータによる音楽生成 (2022～) 平井 辰典 CMMR 2023, 音学シンポジウム2022 　本研究では、量子コンピュータによるメロディ生成を行うための量子回路の自動デザイン手法を提案している。教師データとなるメロディの音符遷移を実現するような量子回路を遺伝的アルゴリズムにより実現した。

ピアノロールの拡張: 微分音に対応したピアノロールと音律デザインインタフェース (2022～) 平井 辰典 SMC 2022, 音学シンポジウム2022 　この研究では、これまで12平均律の音符の入力しかできなかったピアノロールを拡張し、微分音を含むあらゆる音律の音を使ったメロディが入力できるようにした。さらに、ユーザが自身のオリジナルの音律をデザイン可能なインタフェースも実装しており、鳥の鳴き声などの特定の音声に含まれる周波数を使った音律を自動生成する機能などを提案している。 [YouTube], [Paper PDF]

Melody2Vec: メロディセグメンテーションに基づくメロディの分散表現の獲得 (2018～2022) 平井 辰典, 澤田 隼 JIP (2019) 　本研究では、音楽のメロディを計算機で数値的に扱うための分散表現（ベクトル化）に関する技術を提案した。単語の分散表現技術であるWord2vecを音楽のメロディに適用するために、GPTという規則に基づき音楽のメロディを単語に分割する方法と、それによるモデル化手法を提案している。 [Paper PDF]

MusicMixer: 楽曲のビート及び潜在トピックの類似度に注目した楽曲のミックス手法及びComputer-Aided DJシステム (2015～2018) 平井 辰典，土井啓成，森島 繁生 JIP (2018), ACE2015, MMM2016 　本プロジェクトでは、楽曲を滑らかに切り替える「ミックス」というDJの典型的な奏法に注目し、その自動化及びそれによるDJパフォーマンスの支援システムを提案している。 [論文PDF(2.52MB)]

フレームの連続性と冗長性に注目した動画のフレーム単位伸縮 (2015～2018) 平井 辰典，森島 繁生 MMM2016、音学シンポジウム2015 　本プロジェクトでは、動画の音声及び映像の冗長性と連続性に注目し、フレーム単位の間引き及び挿入を行うことで、動画を任意の長さに伸縮する手法を提案している。 これにより、従来動画の長さに合わせて鑑賞の時間が決まっていたものが、視聴者の空き時間に動画の方を合わせて鑑賞することなどが可能となる。 [論文PDF(929KB)]

VRMixer: 動画コンテンツと現実世界の融合 (2014～2015) 平井 辰典，中村 聡史，湯村 翼，森島 繁生 ACE2014, インタラクション2015 　本プロジェクトでは、動画コンテンツの中の世界と現実世界を混ぜ合わせることによって、コンテンツの新たな鑑賞/生成方法を提案している。 例えば動画の中の人物と一緒にダンスしたり、映画の中に入って演技の練習をしたりといったことが可能となる。 [論文PDF](5.62MB)

平均曲生成システムの開発 (2012～2015) 平井 辰典，佐々木 将人，森島 繁生 SMC2015，IPA未踏人材発掘?育成事業2012，WISS2013 　本プロジェクトでは、複数の楽曲を混ぜ合わせることによって生成できる平均曲とそれを生成するためのシステムを開発している。 このシステムによって作曲経験のない一般のリスナーでも音楽を聴くことの延長で自分に合った新しい曲を作ることができるユーザデザインコンテンツ社会の実現を目指している。

顔認証，歌唱シーン推定を用いた音楽動画コンテンツへの人名/歌唱アノテーションの自動付加 (2011～2014) 平井 辰典，中野 倫靖，後藤真孝，森島繁生 映像情報メディア学会誌（2012），SIGMUS94（2012），音学シンポジウム2014（2014），etc. 　動画コンテンツの特性を利用した顔認証技術を提案し，複数動画からの同一人物の抽出を実現．歌唱シーン推定（音響信号処理）技術を複合させることで，動画コンテンツ中の歌唱人物の抽出手法を提案．人名ラベル付き顔画像を元に，動画コンテンツへの人名アノテーションを自動付加している． [論文pdf](1.52MB)

既存音楽動画の再利用によって音楽に合った動画を自動生成するシステム (2010～2013) 平井 辰典，大矢 隼士，森島 繁生 情報処理学会論文誌（2013），SIGGRAPH2012 (Poster)，VC/GCADシンポジウム2012，第一回ニコニコ学会β，etc. 　楽曲を入力することによって，入力楽曲に合った映像を動画データベースから自動で切り貼りし，新たな音楽動画を生成するシステム． このシステムによって，動画編集経験のないユーザが手軽に新たな音楽動画コンテンツを制作する支援をする．これにより、誰もがクリエータとなるための第一歩を後押しする． [論文PDF](1.89MB)

研究プロジェクト（共著）

画像認識を用いて自己位置推定を行うスマートフォンによるインサイドアウト方式のAR/VRHMD用コントローラシステムの提案 服部 圭介, 平井 辰典 SIGGRAPH2020 (Poster), VCシンポジウム 2020

タンジブルなブロックを組み立てることによりAR空間で実行可能な教育用プログラミングツール 服部 圭介, 平井 辰典 SIGGRAPH2019 (Poster), WISS 2019, VCシンポジウム 2019，etc.

動画内の関心領域と話者の位置を考慮した動的な字幕配置手法 赤堀 渉, 平井 辰典, 河村 俊哉, 森島 繁生 VISIGRAPP 2017, TVX 2016, VC/GCADシンポジウム2016

単一楽曲の切り貼りによる動画の盛り上がりに同期したBGM自動付加手法 佐藤晴紀，平井辰典，中野倫靖，後藤真孝，森島繁生 ICME2016 (Oral), SIGGRAPH2015 (Poster), VC/GCADシンポジウム2015，etc.

2枚の手描き顔画像を用いたキャラクタ顔回転シーン自動生成 (2014～) 古澤知英，福里 司，岡田成美，平井辰典，森島繁生 [Abstract PDF(798KB)] SIGGRAPH2014 (Poster)，VC/GCADシンポジウム2014，etc.

ラリーシーンに着目した映像自動要約によるラケットスポーツ動画鑑賞システム (2014～) 河村 俊哉，福里 司，平井 辰典，森島 繁生 [Abstract PDF](1.32MB) IVAPP2016, 情報処理学会論文誌（2015），SIGGRAPH2014 (Poster)，VC/GCADシンポジウム2014，etc.

アニメ作品におけるキーフレーム自動抽出に基づく映像要約手法 (2013～) 福里 司，平井 辰典，大矢 隼士，森島 繁生 [Abstract PDF](547KB) MMM2016, 画像電子学会誌（2013），Expressive2013 (Poster)，VC/GCADシンポジウム2013，etc.

レコむし：画像の感じ方に基づいた楽曲推薦を行うシステム (2013～) 佐々木 将人，平井 辰典，大矢 隼士，森島 繁生 [Abstract PDF](267KB) SIGGRAPH2013 (Poster)，Culture and Computing 2013，VC/GCADシンポジウム2013，etc.