]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
opencl : fix buffer alignment (llama/12197)
authorHenry Linjamäki <redacted>
Thu, 6 Mar 2025 01:33:40 +0000 (03:33 +0200)
committerGeorgi Gerganov <redacted>
Sat, 8 Mar 2025 13:13:01 +0000 (15:13 +0200)
commit76385c83116b14633abd3222520f9bfd9faeeaf1
tree3b732ef299d0661fd5e4e7e20be331e2086368b3
parent442cd1d2e7a975f5845e38cf0d6350e5c1cc1daa
opencl : fix buffer alignment (llama/12197)

Fix the following error:

```
ggml-alloc.c:99: not enough space in the buffer
ggml_tallocr_alloc: not enough space in the buffer to allocate blk.17.ffn_down.weight (needed 27525120, available 27521024)
```

which occurs when `ggml_backend_opencl_context::alignment` is larger
than `cl_ptr_base` (hard-coded to `0x1000`).

Also, fix `ggml_backend_opencl_context::alignment` was set to
`CL_DEVICE_MEM_BASE_ADDR_ALIGN` which was treated as bytes but the
value is reported in bits.
ggml/src/ggml-opencl/ggml-opencl.cpp