Add MNIST inference example with CNN

Add one more implementation for MNIST which uses Conv2D layers, ref:
https://keras.io/examples/vision/mnist_convnet/. It achieves ~99%
accuracy on the MNIST test set and also performs better for user inputs.
This implementation expects a model in GGUF format. You can get one with
the 'mnist-cnn.py' script. Example usage:

$ ./mnist-cnn.py train mnist-cnn-model
...
Keras model saved to 'mnist-cnn-model'

$ ./mnist-cnn.py convert mnist-cnn-model
...
Model converted and saved to 'mnist-cnn-model.gguf'

$ ./mnist-cnn mnist-cnn-model.gguf models/mnist/t10k-images.idx3-ubyte

sam : use ggml-alloc (#490)

cmake : enable some basic warnings globally (#482)

* cmake : make -Werror=vla global

* cmake : make -Wuninitialized global (part of -Wall)

* tests : fix some -Wunused warnings

This flag is not enabled by default. There are still some warnings
remaining.

* cmake : make -Wsign-compare global (part of -Wall)

* cmake : make -Wall global (minus -Wunused)

* cmake : make -Wstrict-prototypes global

* cmake : add -Wpedantic -Wformat=2 globally

---------

Co-authored-by: Georgi Gerganov <redacted>

tests : undefine NDEBUG so the asserts always work (#481)

cmake : fix MSVC build (#479)

* examples : fix use of M_PI on MSVC

* cmake : make -Werror=vla global

* tests : fix CPU feature options on MSVC

* tests : fix __m256 casts on MSVC

ggml : sync llama.cpp (gguf + metal + ROCm + etc.) (#489)

* ggml : sync llama.cpp (gguf + metal + ROCm + etc.)

ggml-ci

* cuda : sync rope updates

ggml-ci

cmake : add WebAssembly check (#487)

Ensured that CPU-specific flags are not set when targeting WebAssembly using Emscripten in the CMake script.

ggml : sync with sam.cpp (add SAM Vit H & L model support and fix SAM's output)  (#476)

* Add support for Vit H and Vit L SAM model checkpoints

* Add "eps" argument to ggml_norm and fix all examples

* Fix bias addition for ConvTranspose2D layers in SAM example

* Fix build when GGML_ALLOCATOR_DEBUG is enabled

* Use op params for the stride in CONV_TRANSPOSE_2D

Needed in order for the operation to work with ggml-alloc as
the previous implementation used ggml_new_i32, which uses strach buffers

We should remove new_i32 and new_f32 I think. new_f32 is used in a lot
of places.

gpt-2 : use ggml-alloc (#486)

* gpt-2 : use ggml-alloc

* move function comment to gpt2_eval

* gpt-2 : clarifying comment

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : fix instructions for using data pointer

cmake : fix MSVC building with CUDA (#424)

ggml : sync new operators from stable-diffusion.cpp (#461)

* ggml : add ggml_group_norm

* ggml : add ggml_upscale

* ggml : add ggml_concat

* ggml : match code style

---------

Co-authored-by: Georgi Gerganov <redacted>

Merge pull request #449 from ochafik/python-stubs

Add python example w/ cffi-generated bindings

python: regenerate bindings + cosmetic cleanups

starcoder : fix starcoder/convert-hf-to-ggml.py to handle current-folder output file - as in README example (#458)

cuda : add alibi op (#457)

ggml : rename xPos variables to unify coding style

ggml-ci

ggml : implementation of xPos RoPE (#441); also extends ggml_rope_back with additional parameters (breaking API change); does not include CUDA version (#442)

ggml : sync latest llama.cpp (GGUF) (#470)

* ggml : sync latest llama.cpp (GGUF)

ggml-ci

* ggml : sync GPU backends

ggml-ci

* ggml : sync ggml-alloc

ggml-ci

* ggml : remove obosolete constant arrays (type traits)

ggml-ci

ggml : improve ADD_REL_POS perf in SAM by doing it inplace + broadcast BLAS mul_mat (#466)

* Improve ADD_REL_POS perf in SAM by doing it inplace

- Add unit tests for the ADD_REL_POS operation
- I am not sure if this is valid implementation as we reuse the src0
  memory in order to avoid copying it
- When running SAM with the "Example output" command, image, point and
  16 threads, this reduces the cumulative time of the ADD_REL_POS operation
  from 1000-1100 ms to 180-200ms
- There is further room for optimization in the access patterns used in
  the implementation of the opration

* Add non-inplace version for the GGML_OP_ADD_REL_POS

* Fix map_unary warnings and refactor LayerNorm2d + remove ggml_cont in it

* Fix Mac printf format warnings

* sam : add ggml_graph_print() comment

* ggml : add broadcast support for BLAS ggml_mul_mat() (#460)

* Remove not needed build_forward_expand from add-rel-pos unit test

---------

Co-authored-by: Georgi Gerganov <redacted>

Update README to point to SAM example

examples : add sample SAM inference (#74)

* sam : image + prompt encoder, store embeddings

* sam : add the dense img pe in SAM state (#401)

* Add SAM decoder & output masks as png (#418)

* Add loading of decoder layers in Model

* Multiply by hypernet_layer_cnt for ctx_size on model load

* Add decoder layers to py conversion script

* Fix wrong and reversed tensor sizes for decoder

* Add decoder transformer implementation

* Add decoder hypernet and iou prediction mlps

* Add transpose convolution operation and unit test

* Finish mask decoder and write the decoder output in the model state

* Output masks to png after removing padding and upsampling to original size

- Also filter based on the iou treshold
- Additionally filtering based on the stability score and crop boxes
should be done

* Add stb image write in order to output masks from SAM

* Add transpose convolution 2d name and symbol to ggml ops static arrays

* Comment out debug print in transpose convolution test to fix compilation

ggml-ci

* Multithread GGML_OP_ADD_REL_POS operation

* ggml : fix GGML_OP_NAME array

* Disable and comment out debug prints in SAM example

* Add README for the SAM example

* Calculate & filter based on stability score and calculate bounding box

ggml-ci

---------

Co-authored-by: Yavor Ivanov <redacted>

zig : update `build.zig` file to make it work with Zig version 0.11.0 (#450)

examples : fix tensor name access (#443)

* fix-examples : wrong tensor name access

* fix-examples : wrong tensor name access

* fix-examples : wrong tensor name access

* fix-examples : wrong tensor name access

* fix-examples : wrong tensor name access

* fix-examples : wrong tensor name access

* fix-examples : wrong tensor name access

ggml : backport ggml-alloc from llama.cpp (#433)

* ggml: add graph tensor allocator (#2411)

Backport a113689571420fb4d6540f1a324d12965781356a from llama.cpp

* ggml-alloc: Don't try to re-use buffers of external tensors

They might be weights that came from another context, so we
have no control over them (and they might be re-used elsewhere
so writing to them would be a bad idea).

* ggml-alloc: Fix some compile errors when GGML_ALLOCATOR_DEBUG is on

---------

Co-authored-by: slaren <redacted>

Added some tests to python example + fixed numpy on scalar tensors

Simple python stub (*.pyi) generator for cffi

Add python example w/ cffi-generated bindings

Add python example w/ cffi-generated bindings

Features:

- Seamless copies between tensors (ggml & numpy alike) with automatic (de/re)quantization
- Access to full C API (incl. CUDA, MPI, OpenCL, Metal, alloc... and any local API changes)
- Trivial regeneration with `python regenerate.py` (uses llama.cpp headers by default, README.md for options)

readme : add stable-diffusion example (#447)

ggml : mul mat tweaks (#439)

ggml-ci

ggml : pad result of ggml_nbytes()

ggml-ci

ggml : sync llama.cpp (memory allocator + cuda  + metal)

ggml-ci

cmake : add avx compile options on Windows (synced from llama.cpp) (#435)

cmake : fix msvc cuda build - no need to specify stdlib (#428)

tests : fixed windows build (#426)

Merge pull request #422 from ggerganov/ggml-map-custom-new

ggml : add ggml_map_custom1-3

test-customop.c : more comments

fix formatting

ggml : add ggml_map_custom1-3

starcoder : fix unused variable warnings (#416)

ggml : sync llama.cpp (#415)

- faster graph build
- inference speed-ups across GPU backends
- activation functions relax constraints

ggml-ci

readme : add chatglm example (#414)

tests : remove unnecessary funcs

starcoder : fix windows build, fix cast warnings (#411)

cmake : add metal kernel to target resources when built as shared library (#403)

* Add GGML_METAL option to compile metal support.

* Add metal option

* Add metal sources

* Add current source directory

* Fix typo

ggml : refactor unary ops (#405)

* Add gitignore rule for temporary vim files

* ggml: refactor implementation of unary ops

* backends : adapt to ggml_unary_op

* ggml : fix assert number of ops

* ggml : hide ggml_set_unary_op from public API

---------

Co-authored-by: izdane <redacted>
Co-authored-by: Georgi Gerganov <redacted>

ggml : add coverage measurement for Clang, increase test coverage, F16 ggml_sum (#377)

* First shot at adding clang/llvm coverage analysis

* Fix for compiler dependency

* Reducing dimensions in test-opt

* cmake : try to fix test coverage build + CI

* cmake : fix CMAKE option + CI

* Adding some tests for half precision floating point tests

* Adding missing tests for unary operations

* Some more tests for unary operations

* Fix syntax error.

* Fix bug in relu derivative computation

* Revert testing change

* ggml : style fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : add get_no_alloc api corresponding to set_no_alloc (#402)

ggml : build with -Wmissing-prototypes, fix warnings (#398)

A few function declarations were missing from the API. This warning flag
helps find these problems.

common : fix param parsing (#391)

ggml : add vector scaling using Accelerate (#380)

* Added vector scaling using Accelerate

* added missing elif

ggml : sync llama.cpp (#409)

* ggml : sync llama.cpp

ggml-ci

* ggml : fix nullptr derefs in backward

* ci : add mnist test, import/export graph

* add op_params to ggml_graph_export/import

ggml-ci

* mnist : export/import op_params for testing purposes

* mnist : fix f32 model generation test + instructions

ggml-ci

* ci : install python deps even for low-perf builds

ggml-ci

---------

Co-authored-by: Diego Devesa <redacted>

readme : fix gpt-neox docs (#410)

* Fix gpt neox example directory reference

* Fix gpt neox bin directory references

cmake : add PPC64 support (#392)

* cmake : add CMake support for ppc64

* readme : mention ppc64 VSX support

cmake : sync metal compile scripts from llama.cpp (#407)

readme : add minigpt4 link

ci : avoid hardcoded number of threads

ci : update to be able to run locally

ggml : sync llama.cpp (fix PERF + CUDA dup cont support)

ci : disable wget progress

ci : use models-mnt

ci : integrate with ggml-org/ci (#393)

* ci : add initial scripts

* ci : remove setup.sh

* run : add deps

* run : fix

* ci : remove deps

* ci : ignore test-opt

* ci : fix ctest

* ci : induce error in ci-1

* ci : try to capture exit codes

* ci : try fix pipefail

* ci : output time of commands

* ci : disable test-opt for release as well

* ci : generate README.md

* ci : update README.md

* ci : fix header

* ci : utilize gg_printf

row 0
row 1 testing adafa

asdfdsa

* ci : move out the README.md header generation

row 0
row 1 dsfkdjs

adslfkaj ska
test

* ci : fix

row 0
row 1 dsfkdjs

adslfkaj ska
test

* ci : induce error

* ci : fix error

remove assert(false)

* ci : fix ctest summary

* ci : fix comment

minor

test test

* ci : fix gg_printf usage

* ci : switch ci-1 to Release

* ci : try to simplify

* ci : induce error

* Revert "ci : induce error"

This reverts commit a9cef1eeb174764a0a1eb5b13753a7637b10f9dd.

* ci : induce error

* ci : fix pipefail + status

* ci : try to fix pipefail

* ci : fix output

* ci : fix return codes

* ci : test

* ci : fix test

* ci : add gpt-2 ci

* ci : fix gpt-2 test

* ci : gpt-2 seed

* ci : fix checks

* ci : time gpt-2

* ci : fix gpt-2 output

* ci : try to fix duplicated output

* ci : try fix duplicated output

* ci : cat gpt-2 output

* ci : finally fix double output

* ci : try to add "set -x"

* ci : fix model var

* ci : append logs

* ci : add mpt

* ci : fix model dir creation

* ci : fix mpt convert

* ci : add mpt config.json

* ci : add configuration_mpt.py

* ci : don't run test-opt on low perf systems

* ci : do not run test-opt in Debug

ggml : sync llama.cpp (CUDA add/mul bcast + Metal fix + custom RoPE)

starcoder : mmap (and gpu) example (#338)

* Add basic mmap & GPU offload starcoder example

* starcode-mmap : adapt to new ggml API

---------

Co-authored-by: Georgi Gerganov <redacted>

cuda : fix CUDA arch: OFF -> 52;61 (#389)

ggml : sync llama.cpp (fix CUDA build, faster Metal)

close #379

cuda : support GLM-style RoPE (#383)

ggml : retire custom ggml_2d impl in favor of general (#352)

ggml : general conv_2d CPU implementation (#352)

* Conv2d s0 == s1 == 1, d0 == d1 == 1, variable padding

* Mark unused varibles

* Support variable strides

* Handle all non-kernel-width convolutions with same general conv2d

* General 2d Conv

* Remove old function

* Group functions

* Rearrange

* General Conv2d implementation

* Clean up whitespace

ggml : fix mul_mat src1 indexing when not contiguous and non-F32 (#386)

ggml : fix mul_mat src1 indexing when src1 is not contiguous (#386)

ggml : apply mul_mat broadcast fix (sync llama.cpp)

cuda : sync llama.cpp

ggml : broadcast mul_mat + conv batch support (#325)

* ggml : make src0 broadcast-able into src1 for ggml_mul_mat

* WIP: batch inference support for conv_2d

* Impl batch inference support cov_2d

* Correct offset in Conv2D

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : pool naming changes + coding style fixes

ggml : add CUDA gelu op (#374)

ggml : basic implementation of 1d and 2d pools (#375)

pools and tests

no lenet

ggml : revert CUDA broadcasting changes until fixed

ggml : remove unused function (#328)

ggml : fix compile warnings after #328

ggml : add callback to abort ggml_graph_compute() (#328)

* mechanism to abort ggml_graph_compute

* use pthread_cancel

* forgot to commit ggml.h

* static always_false()

Co-authored-by: Georgi Gerganov <redacted>
* accept callback data

* proper function prototype

* return exit status

* remove pthread_cancel and join every thread

* put abort_callback onto cplan

* cplan abort_callback in ggml.c

* make sure all threads abort

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : use a single kernel for CUDA mul op (#373)

tests : ifdef for #pragma GCC (#370)

readme : add link to ggllm.cpp repo (close #361)

ggml : broadcast ggml_add() for F32 (#359)

* Support broadcast add for fp32

* Use single kernel for broadcast add

ggml : support norm op on CUDA (#364)

starcoder : fix for ggml-model.bin being saved in wrong directory + use argparse (#363)

* Fix for starcoder ggml-model.bin being saved in wrong directory. Modernise by using argparse.

* Make sure output directory exists

ggml : fix ggml_set_xxx (#354)

`ggml_set_i32`/`ggml_set_f32` are in line with `ggml_set_i32_1d`/`ggml_set_f32_1d` then.

ggml : fix Alibi implementation (#351)

* correct Alibi implementation

* update f16 too

ggml : sync llama.cpp (fix for #341)

ggml : fix docs about element access (close #348)

starcoder : add <|end_of_turn|> token handling in order to support openchat/opencoderplus (#343)

* Add <|end_of_turn|> token handling to support openchat/opencoderplus

* The opencoder EOT occurs inside the prompt, so we should only break if the model actually generated it

---------

Co-authored-by: Mike <redacted>

pkg-config : fix typo in includedir (#367)

ggml : sync llama.cpp (changes to ggml_graph_compute() API) (#368)

ggml : minor indentation

ggml : restore GGML_RESTRICT (#350)

ggml : fix bug introduced in bfc6d42f8c2141383e4f21e4a030688c71560da0

tests : sync from llama.cpp and disable some obsolete tests

ggml : sync llama.cpp (generalize quantize_fns + CUDA improvements)

cmake : fix public header path for submodules (#342)