]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
CANN: add RoPE cache preload before ACL graph capture (llama/20747)
authorChenguang Li <redacted>
Mon, 23 Mar 2026 07:24:06 +0000 (15:24 +0800)
committerGeorgi Gerganov <redacted>
Sat, 28 Mar 2026 11:39:09 +0000 (13:39 +0200)
commite312a9cd2c7185ce7b1a7fca351e016472b64850
tree9529cc1597007c8bb888215440a9fae863287e05
parent51a1f1961a94f278b55750788366dab37dbaed22
CANN: add RoPE cache preload before ACL graph capture (llama/20747)

ACL graph capture disallows host-to-device memcpy and device memory
malloc/free on the captured stream. Pre-load the RoPE cache before
capture so that:
- Host-to-device copies and allocations run on the non-captured stream
- Cache metadata is populated and memory pool is warmed up
- During capture, only on-device computations are recorded; host-side
  and allocation branches are skipped
src/ggml-cann/aclnn_ops.cpp
src/ggml-cann/aclnn_ops.h
src/ggml-cann/common.h
src/ggml-cann/ggml-cann.cpp