diff --git a/examples/main/main.cpp b/examples/main/main.cpp index bf940978a..ab6d58e7d 100644 --- a/examples/main/main.cpp +++ b/examples/main/main.cpp @@ -430,6 +430,8 @@ int main(int argc, char ** argv) { llama_save_session_file(ctx, path_session.c_str(), session_tokens.data(), session_tokens.size()); } + //llama_set_steering_off(ctx); + llama_token id = 0; { diff --git a/llama.cpp b/llama.cpp index 4b82c9ef8..dd4669418 100644 --- a/llama.cpp +++ b/llama.cpp @@ -279,6 +279,10 @@ struct llama_context { } }; +void llama_set_steering_off(struct llama_context * ctx) { + ctx->steering_mode = STEERING_OFF; +} + void llama_set_steering_write(struct llama_context * ctx, int layer, float mul) { ctx->steering_mode = STEERING_WRITE; ctx->steering_mul = mul; diff --git a/llama.h b/llama.h index 99882ec39..71036c31d 100644 --- a/llama.h +++ b/llama.h @@ -191,6 +191,7 @@ extern "C" { LLAMA_API llama_token llama_token_eos(); LLAMA_API llama_token llama_token_nl(); + LLAMA_API void llama_set_steering_off(struct llama_context * ctx); LLAMA_API void llama_set_steering_write(struct llama_context * ctx, int layer, float mul); LLAMA_API void llama_set_steering_read(struct llama_context * ctx, int layer, float mul);