From da3d60f1547e9345f13a95abef4e8566a9c991b7 Mon Sep 17 00:00:00 2001
From: Henri Vasserman <henv@hot.ee>
Date: Fri, 19 May 2023 17:24:43 +0300
Subject: [PATCH] turning off

---
 examples/main/main.cpp | 2 ++
 llama.cpp              | 4 ++++
 llama.h                | 1 +
 3 files changed, 7 insertions(+)

diff --git a/examples/main/main.cpp b/examples/main/main.cpp
index bf940978a..ab6d58e7d 100644
--- a/examples/main/main.cpp
+++ b/examples/main/main.cpp
@@ -430,6 +430,8 @@ int main(int argc, char ** argv) {
                 llama_save_session_file(ctx, path_session.c_str(), session_tokens.data(), session_tokens.size());
             }
 
+            //llama_set_steering_off(ctx);
+
             llama_token id = 0;
 
             {
diff --git a/llama.cpp b/llama.cpp
index 4b82c9ef8..dd4669418 100644
--- a/llama.cpp
+++ b/llama.cpp
@@ -279,6 +279,10 @@ struct llama_context {
     }
 };
 
+void llama_set_steering_off(struct llama_context * ctx) {
+    ctx->steering_mode = STEERING_OFF;
+}
+
 void llama_set_steering_write(struct llama_context * ctx, int layer, float mul) {
     ctx->steering_mode = STEERING_WRITE;
     ctx->steering_mul = mul;
diff --git a/llama.h b/llama.h
index 99882ec39..71036c31d 100644
--- a/llama.h
+++ b/llama.h
@@ -191,6 +191,7 @@ extern "C" {
     LLAMA_API llama_token llama_token_eos();
     LLAMA_API llama_token llama_token_nl();
 
+    LLAMA_API void llama_set_steering_off(struct llama_context * ctx);
     LLAMA_API void llama_set_steering_write(struct llama_context * ctx, int layer, float mul);
     LLAMA_API void llama_set_steering_read(struct llama_context * ctx, int layer, float mul);