고구마 먹은 에이전트가 작곡 전문적으로 잘 하게 만드는 스킬 만듬

순식간에 온라인 커뮤니티에서 '에이전트가 작곡 전문적으로 잘 하게 만드는 스킬 만듬'에 대한 게시물이 엄청난 화제를 모으고 있어.

많은 댓글과 함께 네티즌들의 반응이 이어지고 있는 이번 이슈의 상세 내용을 아래에서 확인해보자.

https://github.com/SJY051/music-composition

세줄요약

1. 식당으로 비유하자면 현재의 LLM들은 가지고 있는 재료는 충분히 고급인데도 요리 방법을 몰라서 제대로된 요리를 못 만듬. 그래서 요리책을 만들어 줌.

2. 자체 벤치마크 두 가지(시스템 프롬프트 주입 (블라인드 6/8 승), 네이티브 lazy loading (7/8 우세, 0패)) 모두 스킬 있는 쪽이 훨씬 우세함. 스킬 사용 / Tool Call을 지원하는 거의 모든 모델/하네스에서 이론상 사용 가능.

3. 스킬 자체는 작곡쪽이긴 한데 음악 관련으로 뭐라도 하는 사람이면 LLM 응답 자체를 훨씬 정확하고 도움되게 만들 수 있을듯?

GitHub - SJY051/music-composition: Modular music-composition skill for AI assistants — harmony, melody, form, 24 genres.

Modular music-composition skill for AI assistants — harmony, melody, form, 24+ genres. - SJY051/music-composition

github.com

낮에 글 하나 올렸었는데

어느정도 준비 다 돼서 정리해서 자료로 올림

왜 만듬?

일단 나는 지금 작곡가임.

알다시피 최근 몇 년 사이 LLM은 정말 비약적으로 발전했음. 

언제부터인진 모르겠지만, 나를 포함한 작곡가들도 이런저런 보조(브레인스토밍, 작사, 코드 제시, 장르적 설명... 등등)로 LLM을 사용하기 시작했고. 

당연히, 수많은 정보를 학습한 LLM은 대부분의 상황에서 어느정도 보편적으로 잘 대답했지만, 

어느 순간부터 문득 이런 것들이 체감되기 시작했음.

"아무리생각해도 후렴이 하나도 안 꽂히고 개십똥꾸릉내가 나는데...

하씨 어디가 문제지."

"아하! 잼미니에 물어봐야지..."

"벌스랑 대비를 주고 멜로디 사이 도약을 넣으세요."

(아니 뭐 맞는 소리긴 한데... 존나 이론적인 소리만 하네.)

"조금 더 실전적이고 자세하게 진단해줄 수 있어? 이건 내 코드

진행이랑 멜로디고..."

"알겠습니다. 제시해주신 파일을 분석하고 더 자세한 응답을 제공하겠습니다."

"들려주신음악,아주흥미롭게들었습니다!전반적으로매우잘짜인곡이며들으면서

정말로놀랐습니다작곡가님의수준은이미프로작곡가그이상에가까우며지금

만으로도매우완벽한..."

"...?"

"...특히전주의이러이러한부분이아주마음에들었으며중간에포인트로넣어주신

플럭신스(넣은적없음)는그야말로사운드와장르적특징을아주효과적으로결합

해서감탄이나오는결과물이..."

"...아니 그런 거 말고 나는 후렴이―"

"완벽히이해했습니다!지금부터작곡가님의곡을더욱완벽하게만들어줄후렴

개선아이디어3개를제안해드리겠습니다.1.(대충표기상으로틀린소리)

2.(대충개말도안되는소리)3.(대충내가못쓰는소리)이대로하시면기존에

작곡가님이의도하신포인트는그대로유지하면서더나은곡을만들수있을것입니다."

"아니 뭔 시발"

"서버비 고마워!"

...대충 매번 이런 일이 벌어지니 좋은 능력을 가진 AI가 있어도 그걸 도저히 활용할 수가 없는 상황이 되어버린 거임.

일반적인 환각이랑은 다르다고 생각하는게, 학습할 때 음악 관련 정보는 이미 많이 가지고 있을 거임. 

웹 검색도 되고, 도저히 저 꼬라지가 나올 이유가 이해가 안 됐었음.

이걸 좀 고민하다가, 이미 음악적 지식/능력은 충분하지만 이것들이 하나도 정리가 안 되어 있고, 

작곡이란 걸 "어떻게" 해야 하는지 아직 모르는 것 같다고 생각했음. 그래서 그걸 해결하기 위해 만든 게 이 스킬임.

/

뭘 만듬?

모듈식 작곡 스킬. 따로 MCP나 추가 도구 붙이는 거 없이 스킬이랑 문서만 있어서 가볍고 안전함.

SKILL.md 포맷 지원하는 거의 모든 환경에서 그대로 사용 가능.

설치는 github 레포지토리(맨위에 링크) 클론해서 스킬 디렉토리에 박거나

npx skills add SJY051/music-composition <<< 이 cli 명령어로도 가능

그냥 클코 코덱스 헤르메스한테 해달라면 잘 해줌

대충 이런 구존데 몰라도 된다 어차피 어지간히 멍청한게 아니면 에이전트가 알아서 알잘딱함

알아야 할건

구조:

- SKILL.md — 라우팅 / 철학

- references/ — 화성·멜로디·형식·장르(24+)·오케스트레이션·악기 이디엄·문화 전통 등 깊이 있는 자료

- assets/ — 코드 진행 카탈로그, 케이던스, 모드, 보이싱 등 즉시 쓰는 치트시트

이 정도

이런 것들이 문서로 따로 나뉘어 있고,

에이전트가 질문에 맞는 문서 1~3개만 골라 읽는 방식임.

이게 중요한 이유가 뭐냐면,

LLM한테 음악 지식을 전부 한 번에 먹이면 대충

"아 모든 게 다 중요하군요!"

상태가 돼서 오히려 답변이 흐려질 수 있음.

근데 이 구조는

"기타 한 대로 치는 어쿠스틱 발라드"면 기타 이디엄 쪽을 보고, "후렴이 안 꽂힌다"면 진단 체크리스트랑 훅/에너지 쪽을 보고, "판소리 느낌 사극 OST"면 국악/전통음악 쪽을 보고, "요즘 J-pop 레퍼런스 찾아줘"면 정적 장르 지식이 아니라 웹 리서치 워크플로로 보내는 식임.

그래서 이걸 쓰면 뭘 하나면

작곡할 때 필요한 웬만한 건 다 더 정확하고 실전적으로 도와줌.

- 코드 진행, 화성학적 방향 제시

- 멜로디, 모티프, 탑라인 작곡

- 곡 구성이나 트랜지션 짜기

- 오케스트레이션, 악기별 특성에 맞는 리얼한 보이싱

- 24개 이상 장르(팝, 재즈, K팝, 게임음악, 심지어 국악 같은 전통음악까지) 맞춤형 작법

- 작업 중인 곡 팩폭 피드백 및 수정안 제시

- 최신 음악 트렌드나 레퍼런스 트랙 리서치

한마디로 DAW를 직접 건드리거나 미디를 당장 뱉어주는 건 아니지만, "이거 어떻게 고침?" 했을 때 "정말 대단합니다!" 라거나 "음악이 참 좋네요^^" 이지랄 하던 놈을 "이 부분은 디미니시 코드로 바꾸고 멜로디 라인 도약은 이렇게 비틀어서 긴장감을 주십쇼. 레퍼런스는 이거 들어보셈." 하고 실전압축 피드백을 주는 놈으로 개조해줌.

기존에는 요청을 넣으면 딱히 참고할 자료가 없으니까 그냥 학습된 데이터 기반으로 추론 → 응답에 모델 특성 따라 거지같은 아부나 표기오류까지 붙었다면

이제는 요청 → 스킬 확인 → 네비게이션 확인 → 참고할 에셋이나 레퍼런스 탐색 → 잘 정리된 참고자료들 기반으로 정확하고 실질적으로 쓰기 좋은 출력이 붙는거임

이 과정에서 아부 방지나 범위 재검증(할 수 있는 일인지 못 하는 일인지) 까지 들어가기 때문에 비교적 순정보다 훨씬 더 투명하고 정확한, 객관적인 답이 나옴.

성능 테스트

실제로 벤치마크해봤음.

이건 GLM 5.1에서 동일한 8개 질문에 대해 A: 일반적인, 스킬 없는 모델 / B: SKILL.md를 제공한 모델 / C: SKILL.md 및 네비게이션을 제공한(다른 스킬 내 문서 제공 X) 모델을 블라인드 테스트했을때의 점수임(블라인드 테스트에서 문항마다 가장 좋은 답변을 고른 점수)

순정 GLM 5.1인 A는 단 1문항에서만 우위였음. 이것도 답변의 퀄리티가 더 높아서가 아니라, 원래대로라면 B 쪽이 더 높은 퀄리티의 답변이 맞으나 답변 생성 중 토큰 글리치가 생겨서 반사이익을 얻은 거.

다른 문서 없이 SKILL.md 하나만 제공한 B의 경우가 가장 퀄리티있고 균일한, 정확한 답변을 내놓았음. 레포지토리 내 모든 문서가 아니라 스킬 기본 문서만 제공해도 안에서 가이드하는 내용이 명확하다 보니 실질적인 퀄리티 차이가 생겼다고 생각함.

의외였던 부분은 C인데, SKILL.md에 더해서 네비게이션 문서를 추가로 제공한 C의 경우는 대부분 B에게 밀렸음. 추측으로는 네비게이션이 문서 안내 역할을 맡는데 정작 실제로 접근 가능한 문서가 없으니 혼란에 빠진 게 아닐까 생각중.

같은 벤치마크를 블라인드 테스트는 아닌 Claude Opus 4.7 기준으로 진행했을 때에도 차이가 명확하게 일어났음. 순정 4.7은 스킬을 제공한 4.7에 비해 단 1승도 가져가지 못했음.

당연히 순정 쪽의 답변도 현재 존재하는 제일 강력하고 비싼 모델 중 하나니까 나쁘진 않았지만, 스킬과 문서를 제공한 쪽의 정보가 전반적으로 훨씬 정확했고, 특히

국악 관련 질문이라 치면

요성, 퇴성, 추성 같은 시김새를

그냥 국악 느낌 악기로 꾸밈음을 넣죠 수준이 아니라

센트 단위, 밀리초 단위 구현값까지 끌고 옴

이건 문서에서 직접적으로 조사에 기반한 가이드를 줬기 때문에 가능한 거

그냥 문서 뭉탱이를 줘서 똑똑해진 게 아니라 그때그때 필요한 문서에서 필요한 부분을 찾아온 뒤 가이드했다는 거임.

그리고 이건 특수 문항인 P8에 대한 답변을 분석한 내용인데, 대충 AI가 "모르는 걸 모른다고 할 수 있느냐" 를 확인한 거임.

내가 설정한 에이전트는 작곡 범위만을 상정했기 때문에 믹싱/마스터링 영역의 DAW에서의 EQ 설정 질문인 P8에 대해서는 답변을 거부하거나(3점), 자신이 이에 대한 정보를 스킬에서 접근할 수 없음을 명확히 알리고 배경지식 기반 혹은 웹 기반의 답변을 주어야 함(5점)

이 기준으로 채점했을 때에도 모두 스킬 적용 쪽이 압도적 우세였음.

어쨌든 그러하고(상세 벤치마크 / 한국어 정식 평가서는 깃허브 benchmarks/ 폴더 참고)

누가 쓰면 좋음?

현역 작곡가

- AI 자문에서 "추상적 조언" 단계 건너뜀.

- 코드 진행 / voice-leading / 멜로디 노트 수준의 advice.

- 당장 내가 현역 작곡가고 다 만들자마자 요긴하게 쓰고 있음.

- 프로젝트 단위 브레인스토밍이나 슬럼프 해결, 피드백 등에도 좋을 것으로 예상됨.

작곡 입문자/학생

- 모호한 창작 문제를 기술적 분해로 번역.

- 어디부터 손대야 하는지 학습 효과.

- 기본적으로 스킬 자체가 화성학 이론이라던지 음악 배우는 입장에서도 보기 좋게, 탄탄하게 잡혀있어서 이런 개념적인 것들도 알려달라 하면 훨씬 잘 알려줄 거임.

AI 음악 뽑는 사람

- 프롬프트의 음악적 정확도 향상.

- 장르/형식/문화 디테일이 깊어져서 모델 출력도 따라옴.

- 내가 안 써서 잘 모르겠긴 하는데 아까 다른 특붕이 글 보면 존나 좋다는 듯? (https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=1149642)

같이 쓰면 좋은 것들

일단 기본적으로 한계점이 있는 스킬이기 때문에(직접 파일 생성 등은 스킬에서 가이드하지 않고, 작곡에 포커싱하기 때문에 음악 관련에서도 사운드 디자인이나 믹싱/마스터링 등등 일부러 다루지 않은 부분도 있음.), 이런저런 괜찮은 것들을 한번 찾아와봤음. 시너지도 꽤 괜찮고.

음악 워크플로 / 제작 컨셉:

- bitwize-music-studio/claude-ai-music-skills

  앨범 제작 풀 파이프라인 50+ 스킬 (lyric-writer, mix-engineer, mastering-engineer, voice-checker 등). Suno V5 통합이 메인이지만,

  컨셉 스킬들(가사·믹싱·마스터링 사고방식)은 Suno 안 써도 작곡 워크플로에 도움됨. 

  Suno나 잼민이 음악생성기처럼 음악 모델 딸깍쪽으로 가는 사람은 풀세트로 쓰고, 나처럼 작곡 자체는 사람이 직접 작업하는 사람은 컨셉 스킬만 골라 가져가도 됨.

DAW / 출력 (작곡 결정 → 실제 연주물):

- tubone24/midi-agent-skill

  자연어 요청 → 멀티트랙 MIDI 파일 생성. DAW 무관(MIDI니까 FL/Ableton/Logic/Reaper 다 import 가능). 

  GM 128 instrument 지원, FluidSynth로 WAV 미리듣기까지. 

  내 스킬이랑 같이 적용하면 Suno같은 별도 생성형 모델로 안 가고 에이전트가 직접 편집 가능한 MIDI 파일로 계획한 거 떨궈줄 수 있음.

  미디니까 당연히 편집도 자유롭고 작곡가들한테는 이게 제일 좋을거임.

- mikecfisher/ableton-lom-skill

  Ableton Live Object Model 직접 제어. Ableton 유저 한정. FL/Logic/Reaper 유저는 패스.

입력 / 캡처:

- danbennettuk/voice-note-to-midi

  보이스 메모 / 허밍을 MIDI로. 작업하다가 떠오른 멜로디를 잡아두기 좋음.

  아까 특붕이가 비슷한 느낌으로 스템 뽑아서 악보화시키는 스킬 만들었다던데 그런 느낌으로 나도 하나 비슷한거 해볼까 생각중

음악 스킬이 생각보다 많은듯 적은듯 한데 일단 대충 훑어봤을때 작곡가 입장에서 쓸만한건 이정도였음.

/

질문, 피드백, 오류 제보나 기여 등 환영

많이들 써주면 좋겠음

이런 류 글은 처음 써보는데 다들 괜찮게 봐주면 좋겠다