Mudanças entre as edições de "Ollama:uso do modelo"
Ir para navegação
Ir para pesquisar
(Criou página com ' =Passos para Utilizar o Modelo Treinado= ==Carregar o Modelo e o Tokenizer== Carregue o modelo e o tokenizer que você salvou após o treinamento from transformers import...') |
(Sem diferença)
|
Edição atual tal como às 14h48min de 13 de julho de 2024
Índice
Passos para Utilizar o Modelo Treinado
Carregar o Modelo e o Tokenizer
Carregue o modelo e o tokenizer que você salvou após o treinamento
from transformers import AutoModelForCausalLM, AutoTokenizer model_path = "./llama3-finetuned" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path)
Preparar a Entrada
Tokenize a entrada que você deseja passar para o modelo:
input_text = "Sua entrada aqui" inputs = tokenizer(input_text, return_tensors="pt")
Gerar a saída
output = model.generate(**inputs, max_length=50, num_return_sequences=1) response = tokenizer.decode(output[0], skip_special_tokens=True) print(response)
