]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
llama : add getters for n_threads/n_threads_batch (#7464)
authorDaniel Bevenius <redacted>
Thu, 23 May 2024 12:29:26 +0000 (14:29 +0200)
committerGitHub <redacted>
Thu, 23 May 2024 12:29:26 +0000 (15:29 +0300)
commit3015851c5ac7334fb544a23a70a284c117b87044
treea870f840d9b19f561b53eae8048f83283e851cb4
parent55ac3b7aeaf52f19786ed96e885d89521fc0f6c8
llama : add getters for n_threads/n_threads_batch (#7464)

* llama : add getters for n_threads/n_threads_batch

This commit adds two new functions to the llama API. The functions
can be used to get the number of threads used for generating a single
token and the number of threads used for prompt and batch processing
(multiple tokens).

The motivation for this is that we want to be able to get the number of
threads that the a context is using. The main use case is for a
testing/verification that the number of threads is set correctly.

Signed-off-by: Daniel Bevenius <redacted>
* squash! llama : add getters for n_threads/n_threads_batch

Rename the getters to llama_n_threads and llama_n_threads_batch.

Signed-off-by: Daniel Bevenius <redacted>
---------

Signed-off-by: Daniel Bevenius <redacted>
llama.cpp
llama.h