Ollama:uso do modelo

Passos para Utilizar o Modelo Treinado

Carregar o Modelo e o Tokenizer

Carregue o modelo e o tokenizer que você salvou após o treinamento

from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "./llama3-finetuned"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path)

Preparar a Entrada

Tokenize a entrada que você deseja passar para o modelo:

input_text = "Sua entrada aqui"
inputs = tokenizer(input_text, return_tensors="pt")

Gerar a saída

output = model.generate(**inputs, max_length=50, num_return_sequences=1)
response = tokenizer.decode(output[0], skip_special_tokens=True)
print(response)