ggml : fix Alibi implementation (#351)

* correct Alibi implementation

* update f16 too

ggml : sync llama.cpp (fix for #341)

ggml : fix docs about element access (close #348)

starcoder : add <|end_of_turn|> token handling in order to support openchat/opencoderplus (#343)

* Add <|end_of_turn|> token handling to support openchat/opencoderplus

* The opencoder EOT occurs inside the prompt, so we should only break if the model actually generated it

---------

Co-authored-by: Mike <redacted>

pkg-config : fix typo in includedir (#367)

ggml : sync llama.cpp (changes to ggml_graph_compute() API) (#368)

ggml : minor indentation

ggml : restore GGML_RESTRICT (#350)

ggml : fix bug introduced in bfc6d42f8c2141383e4f21e4a030688c71560da0

tests : sync from llama.cpp and disable some obsolete tests

ggml : sync llama.cpp (generalize quantize_fns + CUDA improvements)

cmake : fix public header path for submodules (#342)

whisper : fix wrong variable name from previous commit

build : add pkg-config file (#335)

This makes it easier for other library consumers to find
the library and link to it.

Fixes #334

cmake : install the header file to ggml/ggml.h (#333)

Fixes #332

whisper : sync whisper.cpp (tinydiarize + OpenVINO)

readme : add link to ggml-gobject (#336)

This enables also some bindings to python (through pygi), gjs, vala, csharp, etc. However `ggml-gobject`s main purpose is to make the library a bit more friendly to the desktop platform, eg, by providing asynchronous operation, a DBus service, etc.

dolly : update error print behavior (#337)

dolly : disable interactive_port on Windows (#339)

dolly : add interactive prompt and port mode (#319)

* update basic function to execute prompt

* try to factor our prediciton loop

* update code

* update prompt things

* only render at the end

* add basic server port

* refactor

* fix client file descriptor

* undo common.h style changes

* undo sytle changes to main.cpp

* fix check for interactive port

examples : remove whitespace

examples : use GGML_FILE_MAGIC where possible (#323)

zig : add tests codes using zig (#315)

* update build.zig

* zig : add tests by zig

* zig : add tests codes using zig

* zig : add tests codes using zig

mpt : convert model weights part by part to save memory (#314)

* mpt : update conversion script to load model weights part by part

* mpt : add usage README

ggml : generalize interface for 1d and 2d convolutions (#313)

* conv_1d wip

* conv_1d opt

* conv_1d done

* conv_1 improve alias func name

* conv_2d wip

* conv size to separate func

* conv2d done

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : disable ggml_rope_back for ChatGLM

ggml : remove tensor ptr from export for now (close #267)

Not used for now

ggml : fix enum order for TANH (#316)

ggml : add `ELU`, `TANH`, `ARGMAX` (#316)

* add: `elu` activation

* add: `tanh` activation

* add: `argmax`

* ggml : rearrange ops - put "tanh" after "step"

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : add GGML_TENSOR_LOCALS helper macros (#309)

* [WIP] ref #292

* Further code reduction

* ggml : minor style fixes

* ggml : hide op locals in source file

---------

Co-authored-by: Georgi Gerganov <redacted>

starcoder : add repeat penalty (#311)

* implement repeat penalty processing for starcoder

* show effective parameters at starcoder startup

---------

Co-authored-by: Mike Ravkine <redacted>

ggml : sync latest llama.cpp (ggml_task_type changes + GPU backends)

zig : add tests by zig (#307)

* update build.zig

* zig : add tests by zig

ggml : support ChatGLM-style RoPE (#305)

ggml : increase max name size to 48

ggml : sync llama.cpp (NUMA + thread improvements + k-quants)

py : add requirements.txt (#201)

* Add requirements.txt

* Fix README.md files

readme : add link to CLIP example (#298)

ggml : fix invalid src0 dereference

ggml : remove _GNU_SOURCE

ref : https://github.com/ggerganov/whisper.cpp/pull/1027

zig : update build.zig (#296)

readme : add roadmap + manifesto

ggml : do not round up the conv 2D row size (#274)

whisper : fix ifdef

opencl : remove ggml-opencl.c

whisper : sync latest whisper.cpp

whisper : sync latest whisper.cpp

common : fix trailing whitespace

whisper : sync latest whisper.cpp

readme : add encodec.cpp link

readme : add BioGPT example link

ggml : add custom mapping functions (#264)

* Add custom mapping functions

The current mapping functions are basically jokes, add some real
ones. These ones get access to the actual tensor structs so they
can do things like

- Know the dimensions they are operating on
- Work with tensors with more than 2 dimensions, or transposed
- Operate on two differently sized tensors (like matmul)
- Use their own thread pool that does a better job than ggml does.

Among other things ...

* fix ordering mistake

* ggml : custom operators support scratch buffers

---------

Co-authored-by: Georgi Gerganov <redacted>

zig : add zig build system support (#279)

* add zig build system support

* add zig build system support

tests : allow to set threads to test-grad0

build : fix compilation errors and warnigns when building with MSVC (#275)

tests : increase stack size for test1 when building with MSVC (#277)

tests : use LBFGS optimizer instead of ADAM (close #276)

ADAM seems to behave differently since the recent training changes.
Need to see how to make it work again for test2 - probably some
parameters need to be adjusted

ggml : more verbose memory allocation failure (#270)

starcoder : add special tokens for fill-in-the-middle task (#269)

ggml : sync llama.cpp (tensor names)

ci : reduce GGML_NLOOP to 3

tests : sync test-grad0 from llama.cpp

ggml : fix bug in LBFGS optimizer

ggml : sync latest llama.cpp

gpt-2 : fix typo (#261)

Co-authored-by: Ebey Abraham <redacted>

whisper : removed duplicate lines in convert-pt-to-ggml.py (#256)

Deleted 2 lines of .astype(float32) conversion to the model weights (No real impact, just for cleaner code)

replit : update inference code to match reference (#218)

* Update replit inference code to match reference

* Add qntvr printf

ci : introduce Github Actions CI workflow (#247)

* Introduce Github Actions CI workflow for the ggml repo

This commit integrates a Github Actions CI workflow that compiles and tests the codebase on both Ubuntu 22.04 and macOS 12 Monterey. The workflow is triggered on pull requests against the main branch and on every push to the main branch.

To accommodate the resource constraints of the Github-hosted runners, a `GGML_NITER` environment variable is introduced, allowing tests to run within a reasonable time frame. `test-grad0.c` is modified to use this variable instead of `GGML_NLOOP`.

The workflow file includes:

- A build strategy for both Ubuntu and MacOS.
- An environment setup with variables `GGML_NLOOP` and `GGML_NITER`.
- A step to limit the number of threads used by `test2.c` for efficient execution.
- A typical build process with steps for environment creation, CMake configuration, building, and verbose testing with a timeout.

* main to master

ggml : convert interleaved addressing to sequential addressing for reduce functions (#117)

* Convert interleaved addressing to sequential addressing for REDUCE

* update addressing on new archs

examples : fix c++ standard errors and pedantic warnings (#239)

ggml : fix minor resource leak reported by static analysis (#237)

starcoder : add support for starchat special tokens (#246)

* starcoder : add support for starchat special tokens

* examples : fix `gpt_tokenize()` for special tokens

ggml : return input tensor in ggml_set_name (#262)

this is SO USEFUL for debugging. in order to find any cgraph node,
I can wrap it in ggml_set_name and set a conditional breakpoint.

but I can only wrap existing code if this returns its input.
otherwise the barrier becomes annoyingly high (have to move a
bunch of code around to add name to a tensor)

ggml : fix ggml_clamp (#263)

This unconditionally failed before

ggml : add quick GELU (#254)

* Implement Quick GELU

* Revert "Implement Quick GELU"

This reverts commit ff220cc1f91a184f195d19b17ed4c352cc72a6f0.

* Tidy up ggml.h

* Respect to the style of ggml

* Fix: Fix minor typo

* Rename `quick_gelu` -> `gelu_quick`

cmake : export all symbols on windows when building shared library (#234)

Currently building ggml on windows as a shared library does not export all symbols by default.

ggml : correct off-by-one bounds check in ggml_compute_forward_set_f32 (#229)

without this fix you will be unable to set a zero-length tensor to the end of another tensor

this sounds stupid, but is used in my testing

gpt-neox : fix ctx size calculation (#228)

ggml : fix ggml_clamp thresholds being read as ints instead of floats (#221)

ggml : add inplace ops api in header file (#219)

ggml : add ggml_conv_2d_sk_p0(), ggml_win_part(), ggml_win_unpart()

ggml : fix ggml op conv_1d enum names

ggml : better conv_1d naming

ggml : rename conv_1d ops to reflect half-padding used

ggml : fix compiler warnings for printf

mnist : remove redundant stuff + rename ctx0

mnist : add missing header (#213)

common : fix compilation on Linux (#212)

ggml : cgraph export/import/eval example + GPU support (#108)

* ggml : cgraph export brainstorming

* mnist : code style

* mnist : minor

* ggml : initial cgraph export

* ggml : initial graph import (wip)

* ggml : import op args correctly

* ggml : add ggml_get_tensor_by_name()

* mnist : add compute graph evaluation on CPU example

* ggml : add ggml_tensor_overhead()

* ggml : rename new functions to ggml_cgraph_...

* mnist : add Metal inference skeleton (WIP)

* mnist : working on the Metal pipeline (WIP)

* mnist : prepare the Metal encoder (WIP)

* mnist : first Metal kernel for F32 ADD

* mnist : looks like MTLHeap does not work

* mnist : initial full pass of MNIST on the GPU (not verified)

* mnist : minor cleanup

* mnist : full GPU inference works

* mnist : use custom soft_max kernel since MPSMatrixSoftMax is bugged

* mnist : use constant for soft_max instead of hardcoded 10

* mnist : check multiple predictions (Metal)

* mnist : minor

* ggml : move cgraph import / export to ggml

* mnist : remove common dependencies

* mnist : fix soft_max threadgroup size

* mnist : init no_alloc member

* ggml : improve "get tensor" API

fix : fix ggml_alibi (#204)

readme : add "development" (#203)

You are welcome lol

ggml : add CLBLAST support (#197)

Enable support for the RISCV architecture

This addresses https://github.com/ggerganov/ggml/issues/129

cuda : sync latest llama.cpp (control DMMV X/Y sizes)

ggml : add ggml_tensor_overhead() + ggml_get_tensort_by_name()

ggml : sync llama.cpp (OpenCL support for GPU offload)

mnist : gitignore stuff

examples : add tokenization tests and refactor codes (#186)

* examples : [refactor] remove unnecessary lines and segments

* examples : [feature] add tokenization test for gpt-neox

* examples : [feature] handle multibyte character set

* examples : [refactor] find the longest token for word

* examples : [refactor] move test_tokenizer to common.cpp as the function affects other models

* add 'test_tokenizer' function after loading the model

* examples : [feature] add test cases for checking tokenization

* examples : [feature] tokenize with huggingface tokenizers for currently supported models

* examples : add tokenization test cases for each model

* revert conversion from string to utf-8 encoded byte strings

* [refactor] make util functions for testing tokenizers available

* [bug fix] test replit using functions and variables (e.g. tokenizer struct, tokenization method) defined in its main.cpp

* [refactor] modify function name test_tokenizer -> test_gpt_tokenizer

* [refactor] put parenthesis on single line for-loops and if-statements

* [refactor] withdraw <filesystem> and use <iostream> and <dirent.h>

* [refactor] remove 'find_test_file' function and directly set test file path from 'test_gpt_tokenizer' function

* call a function for testing tokenizer with filename specified

* revert test tokenizer in replit (replit uses seperate methods for tokenzation and decoding)

* compare vector of id to check if two tokenizations are identical.

* write token ids instead of strings.

* [refactor] use --token_test rather than --test for token-test argument

* add english test cases

* update test cases with more english prompts

* examples : tokenizer testing fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

Update README.md

minor : fix printf warnings

mnist : smooth user input (#199)

Drawing on the canvas is now smooth. The final image which is used for
prediction is obtained by down-scaling the canvas to 28x28 pixels.
Download button is aslo added for downloading raw image values.