YuE2 lager låter fra redigerbare noter og kjører lokalt på 24 GB VRAM

De fleste KI-musikkverktøy gir deg en ferdig lydfil og lite annet å skru på. YuE2, som ligger i GitHub-repoet til Multimodal Art Projection, legger inn et mellomsteg: Du gir modellen sangtekst og en stilbeskrivelse, den skriver en plan med melodi og akkorder, og først deretter blir planen en komplett låt med vokal og akkompagnement i 48 kHz stereo. Planen er noter i ABC-format som du eller en agent kan lese, spille og endre før lyden genereres.

Det gir tre bruksmåter med samme sjekkpunkt. Du kan lage nye låter, lage covere ved å transkribere et opptak til noter med SheetSage2 og gi dem ny tekst eller stil, eller redigere en låt gjennom en samtale om notene. Demoen følger låten The Last Train gjennom 9 steg og 14 versjoner, fra mandarin-pop til engelsk jazz med ny harmonikk og en saksofonsolo. Repoet har også agent-skillen yue2-music, som lærer en agent å generere låter, transkribere opptak og redigere noter.

På WildSongBench, 192 prompter med automatisk evaluering, oppgir forfatterne disse snittene på SongBench:

Standardoppsettet velger mellom to kandidater, best-of-8 mellom åtte. Forfatterne tar selv forbehold om toppen av tabellen:

«Det lille gapet mellom de høyeste snittene fastslår ikke statistisk signifikans» — YuE2-forfatterne

Hva bør du gjøre?

1. Sjekk maskinen før du kloner: YuE2 krever Linux, Python 3.12 og et Nvidia-kort med BF16-støtte og 24 GB VRAM, og modellfilene til YuE2-3B lastes ned fra Hugging Face ved første kjøring.
2. Kjør pip install . og deretter python examples/generate.py --output outputs/first-song. Utmappen tar vare på notene og innstillingene, så du kan endre score.abc og generere på nytt.
3. Les lisensen før du bruker låtene til noe: koden og agent-skillen er Apache 2.0, mens modellvektene er CC BY-NC 4.0 og ikke kan brukes kommersielt.