Bark: テキストから生成されるオーディオモデル

Barkは、Sunoによって開発されたトランスフォーマーベースのテキストからオーディオへのモデルです。このモデルは、高度にリアルな多言語スピーチだけでなく、音楽、背景音、簡単な効果音などの他のオーディオも生成できます。さらに、笑い、ため息、泣き声などの非言語的コミュニケーションも生成可能です。

主な機能

多言語対応: Barkは、入力テキストから自動的に言語を判断し、さまざまな言語をサポートします。英語の品質が最も優れていますが、他の言語もスケーリングに伴い改善されることが期待されています。
音楽生成: Barkは、スピーチと音楽の違いを認識せず、歌詞の周りに音楽記号を追加することで、音楽として生成することも可能です。
声のプリセット: 100以上のスピーカープリセットをサポートし、コミュニティがDiscordで共有することもできます。

使用方法

インストール

Barkを使用するには、以下のコマンドを実行します。

pip install git+https://github.com/suno-ai/bark.git

基本的な使用例

以下は、Barkを使用してオーディオを生成する基本的なPythonコードの例です。

from bark import SAMPLE_RATE, generate_audio, preload_models
from scipy.io.wavfile import write as write_wav
from IPython.display import Audio

# モデルをプリロード
preload_models()

# テキストからオーディオを生成
text_prompt = """こんにちは、私の名前はSunoです。ピザが好きです。[笑う]"""
audio_array = generate_audio(text_prompt)

# オーディオをディスクに保存
write_wav("bark_generation.wav", SAMPLE_RATE, audio_array)

# ノートブックでオーディオを再生
Audio(audio_array, rate=SAMPLE_RATE)

価格

BarkはMITライセンスの下で提供されており、商業利用も可能です。最新の価格情報については、公式ウェブサイトを確認してください。

よくある質問

Barkの生成物は私のプロンプトと異なることがあります。なぜですか？ BarkはGPTスタイルのモデルであり、生成物に創造的な自由を持たせることがあるため、従来のテキスト読み上げアプローチよりも出力の変動が大きくなることがあります。
どの声がサポートされていますか？ Barkは100以上のスピーカープリセットをサポートしており、コミュニティで共有されています。