StableBeluga2 là một mô hình ngôn ngữ tự hồi quy thuộc loại Stable Beluga 2, được tinh chỉnh trên Llama2 70B. Nó được phát triển bởi Stability AI và sử dụng thư viện HuggingFace Transformers.
Để sử dụng StableBeluga2, bạn có thể bắt đầu bằng cách nhập mã sau: import torch from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline tokenizer = AutoTokenizer.from_pretrained("stabilityai/StableBeluga2", use_fast=False) model = AutoModelForCausalLM.from_pretrained("stabilityai/StableBeluga2", torch_dtype=torch.float16, low_cpu_mem_usage=True, device_map="auto") system_prompt = "### System:\nYou are Stable Beluga, an AI that follows instructions extremely well. Help as much as you can. Remember, be safe, and don't do anything illegal.\n\n" message = "Write me a poem please" prompt = f"{system_prompt}### User: {message}\n\n### Assistant:\n" inputs = tokenizer(prompt, return_tensors="pt").to("cuda") output = model.generate(**inputs, do_sample=True, top_p=0.95, top_k=0, max_new_tokens=256) print(tokenizer.decode(output[0], skip_special_tokens=True))
Mô hình này được huấn luyện trên tập dữ liệu Orca-style trong nội bộ của chúng ta. Các mô hình được học thông qua quá trình tinh chỉnh giám sát trên các tập dữ liệu đã đề cập, được huấn luyện trong độ chính xác hỗn hợp (BF16) và được tối ưu hóa với AdamW.
Trong quá trình sử dụng, cần lưu ý rằng StableBeluga2 là một công nghệ mới và mang theo những rủi ro. Kiểm tra cho đến nay chỉ được thực hiện trong tiếng Anh và chưa thể bao phủ hết các tình huống. Do đó, trước khi triển khai bất kỳ ứng dụng nào của StableBeluga2, các nhà phát triển nên thực hiện kiểm tra và điều chỉnh an toàn cho ứng dụng cụ thể của mình.
Tuy nhiên, hiện tại mô hình này chưa có đủ hoạt động để được triển khai cho Inference API (serverless). Bạn có thể tăng độ nổi bật xã hội của nó và quay lại kiểm tra sau hoặc triển khai cho Inference Endpoints (dedicated) thay thế.
StableBeluga2 có thể tạo ra các văn bản như viết thơ, trả lời câu hỏi và nhiều hơn nữa, giúp người dùng trong việc tạo nội dung ngôn ngữ một cách hiệu quả.
