]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
rpc : proper handling of data pointers to CPU buffers (llama/21030)
authorRadoslav Gerganov <redacted>
Fri, 27 Mar 2026 08:59:35 +0000 (10:59 +0200)
committerGeorgi Gerganov <redacted>
Sun, 29 Mar 2026 12:04:36 +0000 (15:04 +0300)
commit7f466e237b02974aed2c1c49b13b3c847c1fa55b
tree1595c10f27047422b425ee35b822bc3c3c01d08d
parentb564a99ed63abdf646a30f00b54bd5557238e900
rpc : proper handling of data pointers to CPU buffers (llama/21030)

The compute graph may contain tensors pointing to CPU buffers. In these
cases the buffer address is serialized as 0 and sent over the wire.
However, the data pointer is serialized as-is and this prevents proper
validation on the server side. This patches fixes this by serializing
the data pointer as 0 for non-RPC buffers and doing proper validation on
the server side.

closes: #21006
ggml/src/ggml-rpc/ggml-rpc.cpp