]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
cuda : CUDA Graph Compute Function Refactor (precursor for performance improvements...
authorAndreas Kieslinger <redacted>
Mon, 13 Jan 2025 15:45:53 +0000 (16:45 +0100)
committerGeorgi Gerganov <redacted>
Tue, 14 Jan 2025 08:38:01 +0000 (10:38 +0200)
commit2425caf4fdaf271ebd35dfe0b26c3a32d8363910
tree15e065807fb17df3de271528def712674aeab0b4
parenta4b00bcaaf88e188db539521246c9d88d238d0fb
cuda : CUDA Graph Compute Function Refactor (precursor for performance improvements) (llama/11042)

* Refactor: Moves cuda graph executable update step to separate function.

* Refactor: Moves cuda graph update check to separate function.

* Refactor: Moves cuda graph maintenance (update or adjusting copy parameters) to separate function for improved readability.

* Fix: Adds missing reference to maintain_cuda_graph() definition.

* Refactor: Improves structure and abstractions by moving CUDA graph evaluation and capture to its own function.

* Refactor: Moves node graph checks and copy ops into individual function for improved readability.

* Refactor: Removes code permanently excluded from compilation to increase readability.

* Style: Adds missing newline

* Style: Consolidates several neighboring '#ifdef USE_CUDA_GRAPH' into a single one

* Refactor: Makes 'cuda_graph_update_required' a local variable

* remove double lines between functions

---------

Co-authored-by: slaren <redacted>
ggml/src/ggml-cuda/ggml-cuda.cu