Interactive Music Co-Creation with an Instrumental Technique-Aware System: A Case Study with Flute and Somax2
Prototyping Digital Musical Instruments in Virtual Reality
VR内でのプロトタイピング。現実空間でのプロトタイプがゴミめっちゃ出るというところを起点にしてるのは、本当か？みたいな気がする
tactilityがないのは厳しいですよね、そりゃそう
Questのコントローラーに磁石つけて擬似触覚的な機能を持たせる
スケッチ→モデリング→Audio Design→ファブリケーション（実際にはいろんな行き来がある）
何を使うか
- TinkerCad
- PureData / MetaSounds / Max
- Unity&LibPd
- Steam Audio for Spatialization
- Meta Quest2
例えば、加速度メーターとボタンの楽器のデモを3Dモデルを作ってからVR空間でまず試す
6人で実験 Pdパッチやモデルはあらかじめテンプレートを渡す
PyChiro: Real-Time Gesture Recognition System Supporting the Kodály Chironomic Method in Music Education, Therapy, and Performance
カメラをベースにした手のジェスチャーインタラクションシステム
ハンガリーにあるKodály method
コダーイっていうのね
音程を表すハンドサインがあるらしい
The Kodaly Method: Fun hand-signing Games for young Musicians
オクターブが腕の角度で変わるけど、それも検出
VibroTempo: Feel the Beat with Vibrational Metronomes for Musicians
振動メトロノーム
アクセント付きで鳴らせる 目的としては音楽教育っぽい
アクセント付きビートとかだと伝統的なメトロノームと結果が変わってくる
ZAP!: Bio-Inspired Large-Scale Multimedia Installation
電気ウナギにインスパイアされたサウンドインスタレーション
Music102: An D12-equivariant transformer for chord progression accompaniment
群論をコード進行の表現に使う
シューアの補題
2410.18151 Music102: An D12-equivariant transformer for chord progression accompaniment
結局メロディーの中からコード進行を抽出するっていうのでいいのかな
AI音楽パネル
中央音楽学院（CCOM）
AI音楽だけでセンターができてる（中にラボが6つあるとか）
規模的にかなわんわー
モデル構築も作品制作もやってる ロボット音楽みたいなのも結構ある
MUSIC Demixing challenge の2023もトップ取ったとか
diffusionモデルで音から弦の左手のポジションを推定（Vtuberとかには便利そうだな）
Lamberto Coccioh
Music and Technology at Royal Birmingham Conservatoire (RBC), Birmingham City University
Ontlogical paradox of artificial intelligence in musical composition
何のために生成AI音楽を作るのか？作るとは何なのか？
framing AI through technological determinism
生成AIが与えうるインパクトを理解しきれないまま作ってる面があるのでは
radical other form of agency
animist entitiesなのではという（妖精？）
AI as machine vs AI as person
paradoxes:
- 現状のAIは資本主義の産物であるという問題
- 人間のcognitionとは関係がないこと
- AI exploits and automates creativity but cannot be controlled
“controlled emergence”
トレーニングデータの制限
結構ラディカルに規制派だな
Biocultural Diversity
言語の絶滅にどう対策をするか？に似ている
“Safeguarding creativity for future generation”
Carlos Arana
the University of Buenos Aires / Barklee College
AI in Music: A Pedagogical Approach for Productive and Responsible Music
Music work lifecycle (含むconsumption)のいろんなところでAIが使えるよねということ
pedagogical approach :task - technology - application - evaluation
4 week course AI for music and audio (barklee online)
例えば音源分離なら、一通り原理を学び、実際のアプリとかも使い、その後これらをどう使うか？について評価する これをあらゆる分野でやる
LANDRとかSunoとかMagentaみたいなのを一歩引いてみるのを教育として持ち込んでるのは面白いなあ
telent/hit-song detectionとかまでカバーしてるのかあ
倫理・法の面もカバーする
Marc Battier
knowledge is cumulative / implicit knowledges are easily lost.
シュトックハウゼンのKthinka’s Gesangのアシスタントを務めたのは誰か、フランソワ・ベイルのアシスタントは誰か聞いてみたけど、当然間違った答えを返した
信頼できないだけじゃなくて、ミスリーディングである
コンピューター音楽の作曲における暗黙知とは何か、それらをなるべく構造化していくこと
EMSAN ：Electroacoustic Music Studies Asia Network
アジアで作られた電子音楽を集めるデータベースを作った
EMSAN: The Electroacoustic Music Studies Asia Network
Georg Hajdu
Healing Soundscape
style-agnostic なヒーリング音楽ね、、、
ゲシュタルト心理学
音の”ブーバ”化（角が取れるみたいなことかな、、、）
𰻞
ラテントスペース使ってるよってことね
Kenneth Fields
University of China Academy
Chronotechnics
ネットワーク音楽をずっとやってる人っぽい
全然AI関係なさそう、、なんで選ばれた？
Netronomia
Then and now – Musical needs and Intelligent Tools
Research in music and artificial intelligence — Curtis Roads
More than imitation
how should we evaluate the creativity of human-like and superhuman?
how do we evaluate what is accomplished by the specific tools?
need for new classification systems
Anger at the Asteroid: From Exhibition to Ensemble Performance
恐竜の鳴き声をいろんな形で作り続けているっぽい
Rawr! A Study in Sonic Skulls: Embodied Natural History(2015のNIME)
初期は人口声帯で作ってたけど途中でDSPに変えたのかな？
Raspberrypi単品だとレイテンシーが微妙だった
Dynamic Generalized Parametric Control of Digital Music Instruments
Eric Lyon Virginia University
VSTのパラメーター補完（プリセット同士のinterpolation?）
“preset is just one data point in the set of all possible sonic configurations”
2つのプリセットだったらスライダーで変えればいいよね
どんなVSTでも使える
Maxのvst~を使う
補完はJSで実装
それ以上ならlatent spaceの探索みたいな話？そうっぽい
- Int.lib(Oli Larkin)
- j74 Morph f a b r i z i o p o c e | J 7 4
- Arturia Polybruteにもそういう機能がある
Women’s Labor: Weaving it all Together
domestic tools as musical instruments
Bag theory : first human cultural product
これまでやったこと：色をwekinatorで画像認識/重さセンサー
Woven Scores
phryamework 布と導電布でスピーカー作る
create new community through workshop
質問：アクティビズムでもあり、ハイテックでもある不思議な位置付けだけどどこが先に来たのか：そのまんま、コミッションのオーダーとしてNIMEとフェミニズムのテーマでなんかやるというのがあった
CAFFEINE: Collaborative Affordable Framework For Experiments in Interactive Networked Electronics
Scott Petersen Yale University
学部生の合同プロジェクトっぽい ソニフィケーションのためのシステム？
ハード＋ソフトのフレームワーク
caffeine pods 無線、バッテリー駆動
many-pods one-broker many clients
esp32-s3 devkit C 超音波距離センサー、Groveサウンドセンサー、光センサー
ブローカーはPython、ソニフィケーションはSuperCollider
A Real-Time Gesture-Based Control Framework
MaxとPythonの相性悪い問題（とはいえここでもPythonとOSCで連携してるらしい）
ジェスチャー認識をMaxでもやりたい
- Rapidmax
- MuBu
- Gimlet
- Gestural Sound Tolkit
MediaPipe使ったらしい
リアルタイム・フルボディ
Wekinatorみたくオンライン学習できるのが強み