]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
CANN: Optimize CANN buffer pool memory management (llama/12875)
authorXinpeng Dou <redacted>
Tue, 15 Apr 2025 02:04:24 +0000 (10:04 +0800)
committerGeorgi Gerganov <redacted>
Thu, 24 Apr 2025 17:39:16 +0000 (20:39 +0300)
commit622f981853051a25df70699941ca78fab4ada557
tree2678bc4484b0c5c57a958ab6edd985bd624a4291
parentd049d67065814a873fada696ecf9b4d5e35bbe67
CANN: Optimize CANN buffer pool memory management (llama/12875)

Multiple optional memory pools are provided for CANN, including VMM,
priority queue-based, and traditional memory pools.
1.When the memory pool is available and GGML_CANN_DISABLE_VMM_POOL
   is not defined, the VMM pool is selected by default.
2.Otherwise, if GGML_CANN_ENABLE_BUF_PRIO_POOL is defined,
   the priority queue-based memory pool is used.
3.If neither condition is met, the default memory pool is used.
ggml/src/ggml-cann/aclnn_ops.cpp
ggml/src/ggml-cann/ggml-cann.cpp