]> git.djapps.eu Git - pkg/ggml/sources/whisper.cpp/commit
metal : refactor kernel args into structs (llama/10238)
authorGeorgi Gerganov <redacted>
Sun, 17 Nov 2024 09:23:01 +0000 (11:23 +0200)
committerGeorgi Gerganov <redacted>
Wed, 20 Nov 2024 19:00:08 +0000 (21:00 +0200)
commit2a444dc5bdfd2cfa0fe4106e065f9e5f379eed8e
treeaaecdce2a38f5409a28abd8fd0901e8f3bf3e2fd
parent45cf1634dcb922f8faf7b7289a137351390048b7
metal : refactor kernel args into structs (llama/10238)

* metal : add kernel arg structs (wip)

* metal : fattn args

ggml-ci

* metal : cont + avoid potential int overflow [no ci]

* metal : mul mat struct (wip)

* cont : mul mat vec

* cont : pass by reference

* cont : args is first argument

* cont : use char ptr

* cont : shmem style

* cont : thread counters style

* cont : mul mm id

ggml-ci

* cont : int safety + register optimizations

ggml-ci

* metal : GGML_OP_CONCAT

ggml-ci

* metal : GGML_OP_ADD, GGML_OP_SUB, GGML_OP_MUL, GGML_OP_DIV

* metal : GGML_OP_REPEAT

* metal : GGML_OP_CPY

* metal : GGML_OP_RMS_NORM

* metal : GGML_OP_NORM

* metal : add TODOs for rest of ops

* ggml : add ggml-metal-impl.h

ggml-ci
ggml/src/ggml-metal/CMakeLists.txt
ggml/src/ggml-metal/ggml-metal-impl.h [new file with mode: 0644]
ggml/src/ggml-metal/ggml-metal.m
ggml/src/ggml-metal/ggml-metal.metal