]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml : add custom mapping functions (#264)
authorLoganDark <redacted>
Sat, 24 Jun 2023 17:47:53 +0000 (10:47 -0700)
committerGitHub <redacted>
Sat, 24 Jun 2023 17:47:53 +0000 (20:47 +0300)
commit8472ec787e31fa1e8edc4a0a58295de31d09b2b3
tree82f6a1329360563de5af1ed4964110f3fb49e8ed
parent744e6144f8d283f5bc73b85b90cc2840a7fa089b
ggml : add custom mapping functions (#264)

* Add custom mapping functions

The current mapping functions are basically jokes, add some real
ones. These ones get access to the actual tensor structs so they
can do things like

- Know the dimensions they are operating on
- Work with tensors with more than 2 dimensions, or transposed
- Operate on two differently sized tensors (like matmul)
- Use their own thread pool that does a better job than ggml does.

Among other things ...

* fix ordering mistake

* ggml : custom operators support scratch buffers

---------

Co-authored-by: Georgi Gerganov <redacted>
include/ggml/ggml.h
src/ggml.c