]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
ggml : change ggml_graph_compute() API to not require context (#1999)
authorQingyou Meng <redacted>
Fri, 7 Jul 2023 16:24:01 +0000 (00:24 +0800)
committerGitHub <redacted>
Fri, 7 Jul 2023 16:24:01 +0000 (19:24 +0300)
commit1d656d6360359cfdaaf5d64ed9690047b600dbcb
treeea41daf563633ab0552f24fd0bacce51833e04eb
parent72421402834141df6cbdcf595fe46dbd11874dce
ggml : change ggml_graph_compute() API to not require context (#1999)

* ggml_graph_compute: deprecate using ggml_context, try resolve issue #287

* rewrite: no longer consider backward compitability; plan and make_plan

* minor: rename ctx as plan; const

* remove ggml_graph_compute from tests/test-grad0.c, but current change breaks backward

* add static ggml_graph_compute_sugar()

* minor: update comments

* reusable buffers

* ggml : more consistent naming + metal fixes

* ggml : fix docs

* tests : disable grad / opt + minor naming changes

* ggml : add ggml_graph_compute_with_ctx()

- backwards compatible API
- deduplicates a lot of copy-paste

* ci : enable test-grad0

* examples : factor out plan allocation into a helper function

* llama : factor out plan stuff into a helper function

* ci : fix env

* llama : fix duplicate symbols + refactor example benchmark

* ggml : remove obsolete assert + refactor n_tasks section

* ggml : fix indentation in switch

* llama : avoid unnecessary bool

* ggml : remove comments from source file and match order in header

---------

Co-authored-by: Georgi Gerganov <redacted>
13 files changed:
.github/workflows/build.yml
examples/baby-llama/baby-llama.cpp
examples/benchmark/benchmark-matmult.cpp
examples/metal/metal.cpp
examples/train-text-from-scratch/train-text-from-scratch.cpp
ggml-metal.h
ggml-metal.m
ggml.c
ggml.h
llama.cpp
tests/CMakeLists.txt
tests/test-grad0.c
tests/test-opt.c