]> git.djapps.eu Git - pkg/ggml/sources/llama.cpp/commit
CANN: add RoPE cache preload before ACL graph capture (#20747)
authorChenguang Li <redacted>
Mon, 23 Mar 2026 07:24:06 +0000 (15:24 +0800)
committerGitHub <redacted>
Mon, 23 Mar 2026 07:24:06 +0000 (15:24 +0800)
commit07ff000551fffd99a4d481c1dc5b05abdbce7fb4
tree1908157db642ae0584adbc2eed45f57f92cd4a58
parentcc18f965b6322513c0ae2ae65420067dd873b360
CANN: add RoPE cache preload before ACL graph capture (#20747)

ACL graph capture disallows host-to-device memcpy and device memory
malloc/free on the captured stream. Pre-load the RoPE cache before
capture so that:
- Host-to-device copies and allocations run on the non-captured stream
- Cache metadata is populated and memory pool is warmed up
- During capture, only on-device computations are recorded; host-side
  and allocation branches are skipped
ggml/src/ggml-cann/aclnn_ops.cpp
ggml/src/ggml-cann/aclnn_ops.h
ggml/src/ggml-cann/common.h
ggml/src/ggml-cann/ggml-cann.cpp