Polymath: เครื่องมือที่แปลงห้องสมุดเพลงด้วย機器學習

Polymath เป็นเครื่องมือที่มีประโยชน์มากสำหรับผู้ผลิตเพลง, DJ และนักพัฒนาเสียง ML โดยใช้機器學習เพื่อแปลงห้องสมุดเพลงใดๆ (เช่นจากฮาร์ดดรีฟหรือYouTube) เป็นห้องสมุดตัวอย่างการผลิตเพลง

คุณสมบัติหลัก

• Polymath สามารถแยกเพลงออกเป็นส่วนต่างๆ (เช่น เบท, บาส, ฯลฯ) ได้โดยอัตโนมัติ
• มันจะปรับแต่งเพลงให้มีเทมโพและบีทกริดเดียวกัน (เช่น 120bpm)
• สามารถวิเคราะห์โครงสร้างเพลง (เช่น บรรทัด, โคตรัส, ฯลฯ), คีย์ (เช่น C4, E3, ฯลฯ) และข้อมูลอื่นๆ (เช่น เสียง, ความดัง, ฯลฯ)
• และยังสามารถแปลงเสียงเป็น midi ได้อีกด้วย

การใช้งาน

• สามารถรวมองค์ประกอบจากเพลงต่างๆ เพื่อสร้างเพลงใหม่ที่เป็นเอกลักษณะได้อย่างง่ายดาย เช่น เอา เบทจากเพลง Funkadelic, บาสไลน์จากเพลง Tito Puente และ หอร์นจากเพลง Fela Kuti แล้วรวมเข้าด้วยกันใน DAW ของคุณในเวลาไม่นาน
• สำหรับนักพัฒนา ML, Polymath ทำให้กระบวนการสร้างชุดข้อมูลเพลงขนาดใหญ่เพื่อฝึกโมเดลสร้างใหม่เป็นเรื่องง่าย

วิธีการทำงาน

• การแยกแหล่งเพลงใช้ Neural Network Demucs
• การแบ่งและกำหนดป้ายชื่อโครงสร้างเพลงใช้ Neural Network sf_segmenter
• การติดตาม音高และตรวจจับคีย์ของเพลงใช้ Neural Network Crepe
• การแปลงเสียงเป็น MIDI ใช้ Neural Network Basic Pitch
• การปรับแต่งและจัดให้เสียงตรงกันใช้ pyrubberband
• การดึงและประมวลผลข้อมูลเสียงใช้ librosa

การติดตั้งและใช้งาน

• คุณต้องมีซอฟต์แวร์ ffmpeg ติดตั้งในระบบของคุณ
• ต้องมี Python เวอร์ชัน >=3.7 และ <=3.10
• คุณสามารถคล론โค้ดจาก GitHub ด้วยคำสั่ง git clone แล้ว cd polymath และ pip install -r requirements.txt
• หากมีปัญหาเกี่ยวกับ basic-pitch สามารถใช้คำสั่ง pip install git+ เพื่อแก้ไข

ความสามารถในการใช้งานใน Docker

• หากมี Docker ติดตั้งในระบบ คุณสามารถใช้ Dockerfile ที่ให้มาเพื่อสร้างรูปภาพ Docker ของ Polymath ได้
• ต้องสร้างโฟลเดอร์./input./library./processed./separated เพื่อแลกเปลี่ยนไฟล์อินพุตและเอาต์พุตระหว่างระบบโฮสต์และคอนเทนเนอร์ Docker ของ Polymath

Polymath เป็นเครื่องมือที่มีคุณสมบัติและความสามารถที่ดีเพื่อช่วยให้ผู้ใช้งานในด้านเพลงและ ML สามารถทำงานได้อย่างมีประสิทธิภาพและสร้างผลงานที่ดีขึ้น