]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
rpc : proper handling of data pointers to CPU buffers (llama/21030)
authorRadoslav Gerganov <redacted>
Fri, 27 Mar 2026 08:59:35 +0000 (10:59 +0200)
committerGeorgi Gerganov <redacted>
Sat, 28 Mar 2026 11:39:09 +0000 (13:39 +0200)
commit960449fd1fe8eb1fcd5f71331facf5f1642e9849
tree4f183f37b3b67c707e1ab75a13cc6a4ef40dc245
parentce3a3c97e0d6b5a0c1f848119291e597222f5b2a
rpc : proper handling of data pointers to CPU buffers (llama/21030)

The compute graph may contain tensors pointing to CPU buffers. In these
cases the buffer address is serialized as 0 and sent over the wire.
However, the data pointer is serialized as-is and this prevents proper
validation on the server side. This patches fixes this by serializing
the data pointer as 0 for non-RPC buffers and doing proper validation on
the server side.

closes: #21006
src/ggml-rpc/ggml-rpc.cpp