]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
Fix crash of test-tokenizer-0 under Debug build (#2064)
authorHoward Su <redacted>
Mon, 3 Jul 2023 18:43:55 +0000 (02:43 +0800)
committerGitHub <redacted>
Mon, 3 Jul 2023 18:43:55 +0000 (20:43 +0200)
* Fix crash of test-tokenizer-0 under Debug build

* Change per comment

ggml-cuda.cu
llama.cpp

index 50df20edd7a7b211324e0af1c18e970bc250251d..0b12a9e7683f66af7e37a7466d4eb90c9f1be3d5 100644 (file)
@@ -2835,7 +2835,7 @@ void ggml_cuda_transform_tensor(void * data, struct ggml_tensor * tensor) {
 }
 
 void ggml_cuda_free_data(struct ggml_tensor * tensor) {
-    if (tensor->backend != GGML_BACKEND_GPU && tensor->backend != GGML_BACKEND_GPU_SPLIT) {
+    if (!tensor || (tensor->backend != GGML_BACKEND_GPU && tensor->backend != GGML_BACKEND_GPU_SPLIT) ) {
         return;
     }
 
index f48a6ca79bec87839a93583849c73ba1d8d84c47..7419b03b61dc30b18964b0041bd81e5b669948f8 100644 (file)
--- a/llama.cpp
+++ b/llama.cpp
@@ -194,8 +194,8 @@ struct llama_layer {
 };
 
 struct llama_kv_cache {
-    struct ggml_tensor * k;
-    struct ggml_tensor * v;
+    struct ggml_tensor * k = NULL;
+    struct ggml_tensor * v = NULL;
 
     struct ggml_context * ctx = NULL;