]> git.djapps.eu Git - pkg/ggml/sources/ggml/commit
ggml : cgraph export/import/eval example + GPU support (#108)
authorGeorgi Gerganov <redacted>
Mon, 29 May 2023 16:28:07 +0000 (19:28 +0300)
committerGitHub <redacted>
Mon, 29 May 2023 16:28:07 +0000 (19:28 +0300)
commit3b697a2264c5dd132abb3268f6b1091536f3f9ff
treeba0716717f428b7a0985f84029111bbac9bfd1fa
parentdb5eef149d569604a98708f6059dce63c6b9af1d
ggml : cgraph export/import/eval example + GPU support (#108)

* ggml : cgraph export brainstorming

* mnist : code style

* mnist : minor

* ggml : initial cgraph export

* ggml : initial graph import (wip)

* ggml : import op args correctly

* ggml : add ggml_get_tensor_by_name()

* mnist : add compute graph evaluation on CPU example

* ggml : add ggml_tensor_overhead()

* ggml : rename new functions to ggml_cgraph_...

* mnist : add Metal inference skeleton (WIP)

* mnist : working on the Metal pipeline (WIP)

* mnist : prepare the Metal encoder (WIP)

* mnist : first Metal kernel for F32 ADD

* mnist : looks like MTLHeap does not work

* mnist : initial full pass of MNIST on the GPU (not verified)

* mnist : minor cleanup

* mnist : full GPU inference works

* mnist : use custom soft_max kernel since MPSMatrixSoftMax is bugged

* mnist : use constant for soft_max instead of hardcoded 10

* mnist : check multiple predictions (Metal)

* mnist : minor

* ggml : move cgraph import / export to ggml

* mnist : remove common dependencies

* mnist : fix soft_max threadgroup size

* mnist : init no_alloc member

* ggml : improve "get tensor" API
examples/mnist/CMakeLists.txt
examples/mnist/main-cpu.cpp [new file with mode: 0644]
examples/mnist/main-mtl.cpp [new file with mode: 0644]
examples/mnist/main-mtl.h [new file with mode: 0644]
examples/mnist/main-mtl.m [new file with mode: 0644]
examples/mnist/main.cpp
include/ggml/ggml.h
src/ggml.c