]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commitdiff
examples : fix examples/metal (#1920)
authorKawrakow <redacted>
Sun, 18 Jun 2023 07:52:10 +0000 (10:52 +0300)
committerGitHub <redacted>
Sun, 18 Jun 2023 07:52:10 +0000 (10:52 +0300)
Co-authored-by: Iwan Kawrakow <redacted>
examples/metal/metal.cpp

index 77aca94a3ec97c20e16ddec9e9d7bb5ac1e3bfed..cdfe4bfe97865edaaa5a74978454cb3d6060e8f4 100644 (file)
@@ -40,8 +40,10 @@ int main(int argc, char ** argv) {
     // this allocates all Metal resources and memory buffers
     auto * ctx_metal = ggml_metal_init();
 
-    ggml_metal_add_buffer(ctx_metal, "data", ggml_get_mem_buffer(ctx_data), ggml_get_mem_size(ctx_data));
-    ggml_metal_add_buffer(ctx_metal, "eval", ggml_get_mem_buffer(ctx_eval), ggml_get_mem_size(ctx_eval));
+    const size_t max_size_data = ggml_get_max_tensor_size(ctx_data);
+    const size_t max_size_eval = ggml_get_max_tensor_size(ctx_eval);
+    ggml_metal_add_buffer(ctx_metal, "data", ggml_get_mem_buffer(ctx_data), ggml_get_mem_size(ctx_data), max_size_data);
+    ggml_metal_add_buffer(ctx_metal, "eval", ggml_get_mem_buffer(ctx_eval), ggml_get_mem_size(ctx_eval), max_size_eval);
 
     // main
     {