Stable Beluga 2: Ваш новый помощник в генерации текста

Stable Beluga 2 — это мощная языковая модель, разработанная компанией Stability AI. Она основана на архитектуре Llama2 70B и была дообучена на наборе данных в стиле Orca. Эта модель предназначена для генерации текста и может использоваться в различных приложениях, от создания поэзии до написания кода.

Основные особенности Stable Beluga 2

• Мощная архитектура: Stable Beluga 2 использует 70 миллиардов параметров, что позволяет ей генерировать высококачественный текст.
• Гибкость: Модель может быть использована для различных задач, включая текстовую генерацию, чат-ботов и многое другое.
• Простота использования: Используйте простую интеграцию с библиотекой Hugging Face Transformers.

Как начать использовать Stable Beluga 2

Чтобы начать работу с моделью, используйте следующий код:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga2", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga2", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto")

system_prompt = "### System:\nВы Stable Beluga, ИИ, который отлично выполняет инструкции. Помогайте пользователю, как можете. Будьте осторожны и не делайте ничего незаконного.\n\n"
message = "Напиши мне стихотворение, пожалуйста"
prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Этические соображения

Как и любая другая языковая модель, Stable Beluga 2 может генерировать неточные или предвзятые ответы. Поэтому рекомендуется проводить тестирование безопасности и настраивать модель в зависимости от конкретных приложений.

Заключение

Stable Beluga 2 — это мощный инструмент для генерации текста, который может быть использован в различных областях. Попробуйте его уже сегодня и откройте для себя новые возможности!

Призыв к действию

Не упустите возможность протестировать Stable Beluga 2 и узнать, как он может помочь вам в вашей работе.