]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
CANN: add RoPE cache preload before ACL graph capture (llama/20747)
authorChenguang Li <redacted>
Mon, 23 Mar 2026 07:24:06 +0000 (15:24 +0800)
committerGeorgi Gerganov <redacted>
Sun, 29 Mar 2026 12:04:36 +0000 (15:04 +0300)
commit54f5c02f29a6d5f20f94d4707dded5fcc0b2fdb0
treed878dd259ae7129eeb7c1540270d38e0dfe80578
parenta0e41ec26111e76755d2dd8e912e0c88f4582135
CANN: add RoPE cache preload before ACL graph capture (llama/20747)

ACL graph capture disallows host-to-device memcpy and device memory
malloc/free on the captured stream. Pre-load the RoPE cache before
capture so that:
- Host-to-device copies and allocations run on the non-captured stream
- Cache metadata is populated and memory pool is warmed up
- During capture, only on-device computations are recorded; host-side
  and allocation branches are skipped
ggml/src/ggml-cann/aclnn_ops.cpp
ggml/src/ggml-cann/aclnn_ops.h
ggml/src/ggml-cann/common.h
ggml/src/ggml-cann/ggml-cann.cpp