ci : update to be able to run locally

ggml : sync llama.cpp (fix PERF + CUDA dup cont support)

ci : disable wget progress

ci : use models-mnt

ci : integrate with ggml-org/ci (#393)

* ci : add initial scripts

* ci : remove setup.sh

* run : add deps

* run : fix

* ci : remove deps

* ci : ignore test-opt

* ci : fix ctest

* ci : induce error in ci-1

* ci : try to capture exit codes

* ci : try fix pipefail

* ci : output time of commands

* ci : disable test-opt for release as well

* ci : generate README.md

* ci : update README.md

* ci : fix header

* ci : utilize gg_printf

row 0
row 1 testing adafa

asdfdsa

* ci : move out the README.md header generation

row 0
row 1 dsfkdjs

adslfkaj ska
test

* ci : fix

row 0
row 1 dsfkdjs

adslfkaj ska
test

* ci : induce error

* ci : fix error

remove assert(false)

* ci : fix ctest summary

* ci : fix comment

minor

test test

* ci : fix gg_printf usage

* ci : switch ci-1 to Release

* ci : try to simplify

* ci : induce error

* Revert "ci : induce error"

This reverts commit a9cef1eeb174764a0a1eb5b13753a7637b10f9dd.

* ci : induce error

* ci : fix pipefail + status

* ci : try to fix pipefail

* ci : fix output

* ci : fix return codes

* ci : test

* ci : fix test

* ci : add gpt-2 ci

* ci : fix gpt-2 test

* ci : gpt-2 seed

* ci : fix checks

* ci : time gpt-2

* ci : fix gpt-2 output

* ci : try to fix duplicated output

* ci : try fix duplicated output

* ci : cat gpt-2 output

* ci : finally fix double output

* ci : try to add "set -x"

* ci : fix model var

* ci : append logs

* ci : add mpt

* ci : fix model dir creation

* ci : fix mpt convert

* ci : add mpt config.json

* ci : add configuration_mpt.py

* ci : don't run test-opt on low perf systems

* ci : do not run test-opt in Debug

ggml : sync llama.cpp (CUDA add/mul bcast + Metal fix + custom RoPE)

starcoder : mmap (and gpu) example (#338)

* Add basic mmap & GPU offload starcoder example

* starcode-mmap : adapt to new ggml API

---------

Co-authored-by: Georgi Gerganov <redacted>

cuda : fix CUDA arch: OFF -> 52;61 (#389)

ggml : sync llama.cpp (fix CUDA build, faster Metal)

close #379

cuda : support GLM-style RoPE (#383)

ggml : retire custom ggml_2d impl in favor of general (#352)

ggml : general conv_2d CPU implementation (#352)

* Conv2d s0 == s1 == 1, d0 == d1 == 1, variable padding

* Mark unused varibles

* Support variable strides

* Handle all non-kernel-width convolutions with same general conv2d

* General 2d Conv

* Remove old function

* Group functions

* Rearrange

* General Conv2d implementation

* Clean up whitespace

ggml : fix mul_mat src1 indexing when not contiguous and non-F32 (#386)

ggml : fix mul_mat src1 indexing when src1 is not contiguous (#386)

ggml : apply mul_mat broadcast fix (sync llama.cpp)

cuda : sync llama.cpp

ggml : broadcast mul_mat + conv batch support (#325)

* ggml : make src0 broadcast-able into src1 for ggml_mul_mat

* WIP: batch inference support for conv_2d

* Impl batch inference support cov_2d

* Correct offset in Conv2D

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : pool naming changes + coding style fixes

ggml : add CUDA gelu op (#374)

ggml : basic implementation of 1d and 2d pools (#375)

pools and tests

no lenet

ggml : revert CUDA broadcasting changes until fixed

ggml : remove unused function (#328)

ggml : fix compile warnings after #328

ggml : add callback to abort ggml_graph_compute() (#328)

* mechanism to abort ggml_graph_compute

* use pthread_cancel

* forgot to commit ggml.h

* static always_false()

Co-authored-by: Georgi Gerganov <redacted>
* accept callback data

* proper function prototype

* return exit status

* remove pthread_cancel and join every thread

* put abort_callback onto cplan

* cplan abort_callback in ggml.c

* make sure all threads abort

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : use a single kernel for CUDA mul op (#373)

tests : ifdef for #pragma GCC (#370)

readme : add link to ggllm.cpp repo (close #361)

ggml : broadcast ggml_add() for F32 (#359)

* Support broadcast add for fp32

* Use single kernel for broadcast add

ggml : support norm op on CUDA (#364)

starcoder : fix for ggml-model.bin being saved in wrong directory + use argparse (#363)

* Fix for starcoder ggml-model.bin being saved in wrong directory. Modernise by using argparse.

* Make sure output directory exists

ggml : fix ggml_set_xxx (#354)

`ggml_set_i32`/`ggml_set_f32` are in line with `ggml_set_i32_1d`/`ggml_set_f32_1d` then.

ggml : fix Alibi implementation (#351)

* correct Alibi implementation

* update f16 too

ggml : sync llama.cpp (fix for #341)

ggml : fix docs about element access (close #348)

starcoder : add <|end_of_turn|> token handling in order to support openchat/opencoderplus (#343)

* Add <|end_of_turn|> token handling to support openchat/opencoderplus

* The opencoder EOT occurs inside the prompt, so we should only break if the model actually generated it

---------

Co-authored-by: Mike <redacted>

pkg-config : fix typo in includedir (#367)

ggml : sync llama.cpp (changes to ggml_graph_compute() API) (#368)

ggml : minor indentation

ggml : restore GGML_RESTRICT (#350)

ggml : fix bug introduced in bfc6d42f8c2141383e4f21e4a030688c71560da0

tests : sync from llama.cpp and disable some obsolete tests

ggml : sync llama.cpp (generalize quantize_fns + CUDA improvements)

cmake : fix public header path for submodules (#342)

whisper : fix wrong variable name from previous commit

build : add pkg-config file (#335)

This makes it easier for other library consumers to find
the library and link to it.

Fixes #334

cmake : install the header file to ggml/ggml.h (#333)

Fixes #332

whisper : sync whisper.cpp (tinydiarize + OpenVINO)

readme : add link to ggml-gobject (#336)

This enables also some bindings to python (through pygi), gjs, vala, csharp, etc. However `ggml-gobject`s main purpose is to make the library a bit more friendly to the desktop platform, eg, by providing asynchronous operation, a DBus service, etc.

dolly : update error print behavior (#337)

dolly : disable interactive_port on Windows (#339)

dolly : add interactive prompt and port mode (#319)

* update basic function to execute prompt

* try to factor our prediciton loop

* update code

* update prompt things

* only render at the end

* add basic server port

* refactor

* fix client file descriptor

* undo common.h style changes

* undo sytle changes to main.cpp

* fix check for interactive port

examples : remove whitespace

examples : use GGML_FILE_MAGIC where possible (#323)

zig : add tests codes using zig (#315)

* update build.zig

* zig : add tests by zig

* zig : add tests codes using zig

* zig : add tests codes using zig

mpt : convert model weights part by part to save memory (#314)

* mpt : update conversion script to load model weights part by part

* mpt : add usage README

ggml : generalize interface for 1d and 2d convolutions (#313)

* conv_1d wip

* conv_1d opt

* conv_1d done

* conv_1 improve alias func name

* conv_2d wip

* conv size to separate func

* conv2d done

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : disable ggml_rope_back for ChatGLM

ggml : remove tensor ptr from export for now (close #267)

Not used for now

ggml : fix enum order for TANH (#316)

ggml : add `ELU`, `TANH`, `ARGMAX` (#316)

* add: `elu` activation

* add: `tanh` activation

* add: `argmax`

* ggml : rearrange ops - put "tanh" after "step"

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : add GGML_TENSOR_LOCALS helper macros (#309)

* [WIP] ref #292

* Further code reduction

* ggml : minor style fixes

* ggml : hide op locals in source file

---------

Co-authored-by: Georgi Gerganov <redacted>

starcoder : add repeat penalty (#311)

* implement repeat penalty processing for starcoder

* show effective parameters at starcoder startup

---------

Co-authored-by: Mike Ravkine <redacted>

ggml : sync latest llama.cpp (ggml_task_type changes + GPU backends)

zig : add tests by zig (#307)

* update build.zig

* zig : add tests by zig

ggml : support ChatGLM-style RoPE (#305)

ggml : increase max name size to 48

ggml : sync llama.cpp (NUMA + thread improvements + k-quants)

py : add requirements.txt (#201)

* Add requirements.txt

* Fix README.md files

readme : add link to CLIP example (#298)

ggml : fix invalid src0 dereference

ggml : remove _GNU_SOURCE

ref : https://github.com/ggerganov/whisper.cpp/pull/1027

zig : update build.zig (#296)

readme : add roadmap + manifesto

ggml : do not round up the conv 2D row size (#274)

whisper : fix ifdef

opencl : remove ggml-opencl.c

whisper : sync latest whisper.cpp

whisper : sync latest whisper.cpp

common : fix trailing whitespace

whisper : sync latest whisper.cpp

readme : add encodec.cpp link

readme : add BioGPT example link

ggml : add custom mapping functions (#264)

* Add custom mapping functions

The current mapping functions are basically jokes, add some real
ones. These ones get access to the actual tensor structs so they
can do things like

- Know the dimensions they are operating on
- Work with tensors with more than 2 dimensions, or transposed
- Operate on two differently sized tensors (like matmul)
- Use their own thread pool that does a better job than ggml does.

Among other things ...

* fix ordering mistake

* ggml : custom operators support scratch buffers

---------

Co-authored-by: Georgi Gerganov <redacted>

zig : add zig build system support (#279)

* add zig build system support

* add zig build system support

tests : allow to set threads to test-grad0

build : fix compilation errors and warnigns when building with MSVC (#275)

tests : increase stack size for test1 when building with MSVC (#277)

tests : use LBFGS optimizer instead of ADAM (close #276)

ADAM seems to behave differently since the recent training changes.
Need to see how to make it work again for test2 - probably some
parameters need to be adjusted

ggml : more verbose memory allocation failure (#270)

starcoder : add special tokens for fill-in-the-middle task (#269)

ggml : sync llama.cpp (tensor names)

ci : reduce GGML_NLOOP to 3

tests : sync test-grad0 from llama.cpp

ggml : fix bug in LBFGS optimizer

ggml : sync latest llama.cpp

gpt-2 : fix typo (#261)

Co-authored-by: Ebey Abraham <redacted>

whisper : removed duplicate lines in convert-pt-to-ggml.py (#256)

Deleted 2 lines of .astype(float32) conversion to the model weights (No real impact, just for cleaner code)

replit : update inference code to match reference (#218)

* Update replit inference code to match reference

* Add qntvr printf

ci : introduce Github Actions CI workflow (#247)

* Introduce Github Actions CI workflow for the ggml repo

This commit integrates a Github Actions CI workflow that compiles and tests the codebase on both Ubuntu 22.04 and macOS 12 Monterey. The workflow is triggered on pull requests against the main branch and on every push to the main branch.

To accommodate the resource constraints of the Github-hosted runners, a `GGML_NITER` environment variable is introduced, allowing tests to run within a reasonable time frame. `test-grad0.c` is modified to use this variable instead of `GGML_NLOOP`.

The workflow file includes:

- A build strategy for both Ubuntu and MacOS.
- An environment setup with variables `GGML_NLOOP` and `GGML_NITER`.
- A step to limit the number of threads used by `test2.c` for efficient execution.
- A typical build process with steps for environment creation, CMake configuration, building, and verbose testing with a timeout.

* main to master

ggml : convert interleaved addressing to sequential addressing for reduce functions (#117)

* Convert interleaved addressing to sequential addressing for REDUCE

* update addressing on new archs