ggml : fix mul_mat src1 indexing when src1 is not contiguous (#386)

ggml : apply mul_mat broadcast fix (sync llama.cpp)

cuda : sync llama.cpp

ggml : broadcast mul_mat + conv batch support (#325)

* ggml : make src0 broadcast-able into src1 for ggml_mul_mat

* WIP: batch inference support for conv_2d

* Impl batch inference support cov_2d

* Correct offset in Conv2D

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : pool naming changes + coding style fixes

ggml : add CUDA gelu op (#374)

ggml : basic implementation of 1d and 2d pools (#375)

pools and tests

no lenet

ggml : revert CUDA broadcasting changes until fixed

ggml : remove unused function (#328)

ggml : fix compile warnings after #328

ggml : add callback to abort ggml_graph_compute() (#328)

* mechanism to abort ggml_graph_compute

* use pthread_cancel

* forgot to commit ggml.h

* static always_false()

Co-authored-by: Georgi Gerganov <redacted>
* accept callback data

* proper function prototype

* return exit status

* remove pthread_cancel and join every thread

* put abort_callback onto cplan

* cplan abort_callback in ggml.c

* make sure all threads abort

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : use a single kernel for CUDA mul op (#373)

tests : ifdef for #pragma GCC (#370)

readme : add link to ggllm.cpp repo (close #361)

ggml : broadcast ggml_add() for F32 (#359)

* Support broadcast add for fp32

* Use single kernel for broadcast add

ggml : support norm op on CUDA (#364)

starcoder : fix for ggml-model.bin being saved in wrong directory + use argparse (#363)

* Fix for starcoder ggml-model.bin being saved in wrong directory. Modernise by using argparse.

* Make sure output directory exists

ggml : fix ggml_set_xxx (#354)

`ggml_set_i32`/`ggml_set_f32` are in line with `ggml_set_i32_1d`/`ggml_set_f32_1d` then.

ggml : fix Alibi implementation (#351)

* correct Alibi implementation

* update f16 too

ggml : sync llama.cpp (fix for #341)

ggml : fix docs about element access (close #348)

starcoder : add <|end_of_turn|> token handling in order to support openchat/opencoderplus (#343)

* Add <|end_of_turn|> token handling to support openchat/opencoderplus

* The opencoder EOT occurs inside the prompt, so we should only break if the model actually generated it

---------

Co-authored-by: Mike <redacted>

pkg-config : fix typo in includedir (#367)

ggml : sync llama.cpp (changes to ggml_graph_compute() API) (#368)

ggml : minor indentation

ggml : restore GGML_RESTRICT (#350)

ggml : fix bug introduced in bfc6d42f8c2141383e4f21e4a030688c71560da0

tests : sync from llama.cpp and disable some obsolete tests

ggml : sync llama.cpp (generalize quantize_fns + CUDA improvements)

cmake : fix public header path for submodules (#342)

whisper : fix wrong variable name from previous commit

build : add pkg-config file (#335)

This makes it easier for other library consumers to find
the library and link to it.

Fixes #334

cmake : install the header file to ggml/ggml.h (#333)

Fixes #332

whisper : sync whisper.cpp (tinydiarize + OpenVINO)

readme : add link to ggml-gobject (#336)

This enables also some bindings to python (through pygi), gjs, vala, csharp, etc. However `ggml-gobject`s main purpose is to make the library a bit more friendly to the desktop platform, eg, by providing asynchronous operation, a DBus service, etc.

dolly : update error print behavior (#337)

dolly : disable interactive_port on Windows (#339)

dolly : add interactive prompt and port mode (#319)

* update basic function to execute prompt

* try to factor our prediciton loop

* update code

* update prompt things

* only render at the end

* add basic server port

* refactor

* fix client file descriptor

* undo common.h style changes

* undo sytle changes to main.cpp

* fix check for interactive port

examples : remove whitespace

examples : use GGML_FILE_MAGIC where possible (#323)

zig : add tests codes using zig (#315)

* update build.zig

* zig : add tests by zig

* zig : add tests codes using zig

* zig : add tests codes using zig

mpt : convert model weights part by part to save memory (#314)

* mpt : update conversion script to load model weights part by part

* mpt : add usage README

ggml : generalize interface for 1d and 2d convolutions (#313)

* conv_1d wip

* conv_1d opt

* conv_1d done

* conv_1 improve alias func name

* conv_2d wip

* conv size to separate func

* conv2d done

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : disable ggml_rope_back for ChatGLM

ggml : remove tensor ptr from export for now (close #267)

Not used for now

ggml : fix enum order for TANH (#316)

ggml : add `ELU`, `TANH`, `ARGMAX` (#316)

* add: `elu` activation

* add: `tanh` activation

* add: `argmax`

* ggml : rearrange ops - put "tanh" after "step"

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : add GGML_TENSOR_LOCALS helper macros (#309)

* [WIP] ref #292

* Further code reduction

* ggml : minor style fixes

* ggml : hide op locals in source file

---------

Co-authored-by: Georgi Gerganov <redacted>

starcoder : add repeat penalty (#311)

* implement repeat penalty processing for starcoder

* show effective parameters at starcoder startup

---------

Co-authored-by: Mike Ravkine <redacted>

ggml : sync latest llama.cpp (ggml_task_type changes + GPU backends)

zig : add tests by zig (#307)

* update build.zig

* zig : add tests by zig

ggml : support ChatGLM-style RoPE (#305)

ggml : increase max name size to 48

ggml : sync llama.cpp (NUMA + thread improvements + k-quants)

py : add requirements.txt (#201)

* Add requirements.txt

* Fix README.md files

readme : add link to CLIP example (#298)

ggml : fix invalid src0 dereference

ggml : remove _GNU_SOURCE

ref : https://github.com/ggerganov/whisper.cpp/pull/1027

zig : update build.zig (#296)

readme : add roadmap + manifesto

ggml : do not round up the conv 2D row size (#274)

whisper : fix ifdef

opencl : remove ggml-opencl.c

whisper : sync latest whisper.cpp

whisper : sync latest whisper.cpp

common : fix trailing whitespace

whisper : sync latest whisper.cpp

readme : add encodec.cpp link

readme : add BioGPT example link

ggml : add custom mapping functions (#264)

* Add custom mapping functions

The current mapping functions are basically jokes, add some real
ones. These ones get access to the actual tensor structs so they
can do things like

- Know the dimensions they are operating on
- Work with tensors with more than 2 dimensions, or transposed
- Operate on two differently sized tensors (like matmul)
- Use their own thread pool that does a better job than ggml does.

Among other things ...

* fix ordering mistake

* ggml : custom operators support scratch buffers

---------

Co-authored-by: Georgi Gerganov <redacted>

zig : add zig build system support (#279)

* add zig build system support

* add zig build system support

tests : allow to set threads to test-grad0

build : fix compilation errors and warnigns when building with MSVC (#275)

tests : increase stack size for test1 when building with MSVC (#277)

tests : use LBFGS optimizer instead of ADAM (close #276)

ADAM seems to behave differently since the recent training changes.
Need to see how to make it work again for test2 - probably some
parameters need to be adjusted

ggml : more verbose memory allocation failure (#270)

starcoder : add special tokens for fill-in-the-middle task (#269)

ggml : sync llama.cpp (tensor names)

ci : reduce GGML_NLOOP to 3

tests : sync test-grad0 from llama.cpp

ggml : fix bug in LBFGS optimizer

ggml : sync latest llama.cpp

gpt-2 : fix typo (#261)

Co-authored-by: Ebey Abraham <redacted>

whisper : removed duplicate lines in convert-pt-to-ggml.py (#256)

Deleted 2 lines of .astype(float32) conversion to the model weights (No real impact, just for cleaner code)

replit : update inference code to match reference (#218)

* Update replit inference code to match reference

* Add qntvr printf

ci : introduce Github Actions CI workflow (#247)

* Introduce Github Actions CI workflow for the ggml repo

This commit integrates a Github Actions CI workflow that compiles and tests the codebase on both Ubuntu 22.04 and macOS 12 Monterey. The workflow is triggered on pull requests against the main branch and on every push to the main branch.

To accommodate the resource constraints of the Github-hosted runners, a `GGML_NITER` environment variable is introduced, allowing tests to run within a reasonable time frame. `test-grad0.c` is modified to use this variable instead of `GGML_NLOOP`.

The workflow file includes:

- A build strategy for both Ubuntu and MacOS.
- An environment setup with variables `GGML_NLOOP` and `GGML_NITER`.
- A step to limit the number of threads used by `test2.c` for efficient execution.
- A typical build process with steps for environment creation, CMake configuration, building, and verbose testing with a timeout.

* main to master

ggml : convert interleaved addressing to sequential addressing for reduce functions (#117)

* Convert interleaved addressing to sequential addressing for REDUCE

* update addressing on new archs

examples : fix c++ standard errors and pedantic warnings (#239)

ggml : fix minor resource leak reported by static analysis (#237)

starcoder : add support for starchat special tokens (#246)

* starcoder : add support for starchat special tokens

* examples : fix `gpt_tokenize()` for special tokens

ggml : return input tensor in ggml_set_name (#262)

this is SO USEFUL for debugging. in order to find any cgraph node,
I can wrap it in ggml_set_name and set a conditional breakpoint.

but I can only wrap existing code if this returns its input.
otherwise the barrier becomes annoyingly high (have to move a
bunch of code around to add name to a tensor)

ggml : fix ggml_clamp (#263)

This unconditionally failed before

ggml : add quick GELU (#254)

* Implement Quick GELU

* Revert "Implement Quick GELU"

This reverts commit ff220cc1f91a184f195d19b17ed4c352cc72a6f0.

* Tidy up ggml.h

* Respect to the style of ggml

* Fix: Fix minor typo

* Rename `quick_gelu` -> `gelu_quick`

cmake : export all symbols on windows when building shared library (#234)

Currently building ggml on windows as a shared library does not export all symbols by default.

ggml : correct off-by-one bounds check in ggml_compute_forward_set_f32 (#229)

without this fix you will be unable to set a zero-length tensor to the end of another tensor

this sounds stupid, but is used in my testing

gpt-neox : fix ctx size calculation (#228)

ggml : fix ggml_clamp thresholds being read as ints instead of floats (#221)

ggml : add inplace ops api in header file (#219)

ggml : add ggml_conv_2d_sk_p0(), ggml_win_part(), ggml_win_unpart()

ggml : fix ggml op conv_1d enum names