cmake : add avx compile options on Windows (synced from llama.cpp) (#435)

cmake : fix msvc cuda build - no need to specify stdlib (#428)

tests : fixed windows build (#426)

Merge pull request #422 from ggerganov/ggml-map-custom-new

ggml : add ggml_map_custom1-3

test-customop.c : more comments

fix formatting

ggml : add ggml_map_custom1-3

starcoder : fix unused variable warnings (#416)

ggml : sync llama.cpp (#415)

- faster graph build
- inference speed-ups across GPU backends
- activation functions relax constraints

ggml-ci

readme : add chatglm example (#414)

tests : remove unnecessary funcs

starcoder : fix windows build, fix cast warnings (#411)

cmake : add metal kernel to target resources when built as shared library (#403)

* Add GGML_METAL option to compile metal support.

* Add metal option

* Add metal sources

* Add current source directory

* Fix typo

ggml : refactor unary ops (#405)

* Add gitignore rule for temporary vim files

* ggml: refactor implementation of unary ops

* backends : adapt to ggml_unary_op

* ggml : fix assert number of ops

* ggml : hide ggml_set_unary_op from public API

---------

Co-authored-by: izdane <redacted>
Co-authored-by: Georgi Gerganov <redacted>

ggml : add coverage measurement for Clang, increase test coverage, F16 ggml_sum (#377)

* First shot at adding clang/llvm coverage analysis

* Fix for compiler dependency

* Reducing dimensions in test-opt

* cmake : try to fix test coverage build + CI

* cmake : fix CMAKE option + CI

* Adding some tests for half precision floating point tests

* Adding missing tests for unary operations

* Some more tests for unary operations

* Fix syntax error.

* Fix bug in relu derivative computation

* Revert testing change

* ggml : style fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : add get_no_alloc api corresponding to set_no_alloc (#402)

ggml : build with -Wmissing-prototypes, fix warnings (#398)

A few function declarations were missing from the API. This warning flag
helps find these problems.

common : fix param parsing (#391)

ggml : add vector scaling using Accelerate (#380)

* Added vector scaling using Accelerate

* added missing elif

ggml : sync llama.cpp (#409)

* ggml : sync llama.cpp

ggml-ci

* ggml : fix nullptr derefs in backward

* ci : add mnist test, import/export graph

* add op_params to ggml_graph_export/import

ggml-ci

* mnist : export/import op_params for testing purposes

* mnist : fix f32 model generation test + instructions

ggml-ci

* ci : install python deps even for low-perf builds

ggml-ci

---------

Co-authored-by: Diego Devesa <redacted>

readme : fix gpt-neox docs (#410)

* Fix gpt neox example directory reference

* Fix gpt neox bin directory references

cmake : add PPC64 support (#392)

* cmake : add CMake support for ppc64

* readme : mention ppc64 VSX support

cmake : sync metal compile scripts from llama.cpp (#407)

readme : add minigpt4 link

ci : avoid hardcoded number of threads

ci : update to be able to run locally

ggml : sync llama.cpp (fix PERF + CUDA dup cont support)

ci : disable wget progress

ci : use models-mnt

ci : integrate with ggml-org/ci (#393)

* ci : add initial scripts

* ci : remove setup.sh

* run : add deps

* run : fix

* ci : remove deps

* ci : ignore test-opt

* ci : fix ctest

* ci : induce error in ci-1

* ci : try to capture exit codes

* ci : try fix pipefail

* ci : output time of commands

* ci : disable test-opt for release as well

* ci : generate README.md

* ci : update README.md

* ci : fix header

* ci : utilize gg_printf

row 0
row 1 testing adafa

asdfdsa

* ci : move out the README.md header generation

row 0
row 1 dsfkdjs

adslfkaj ska
test

* ci : fix

row 0
row 1 dsfkdjs

adslfkaj ska
test

* ci : induce error

* ci : fix error

remove assert(false)

* ci : fix ctest summary

* ci : fix comment

minor

test test

* ci : fix gg_printf usage

* ci : switch ci-1 to Release

* ci : try to simplify

* ci : induce error

* Revert "ci : induce error"

This reverts commit a9cef1eeb174764a0a1eb5b13753a7637b10f9dd.

* ci : induce error

* ci : fix pipefail + status

* ci : try to fix pipefail

* ci : fix output

* ci : fix return codes

* ci : test

* ci : fix test

* ci : add gpt-2 ci

* ci : fix gpt-2 test

* ci : gpt-2 seed

* ci : fix checks

* ci : time gpt-2

* ci : fix gpt-2 output

* ci : try to fix duplicated output

* ci : try fix duplicated output

* ci : cat gpt-2 output

* ci : finally fix double output

* ci : try to add "set -x"

* ci : fix model var

* ci : append logs

* ci : add mpt

* ci : fix model dir creation

* ci : fix mpt convert

* ci : add mpt config.json

* ci : add configuration_mpt.py

* ci : don't run test-opt on low perf systems

* ci : do not run test-opt in Debug

ggml : sync llama.cpp (CUDA add/mul bcast + Metal fix + custom RoPE)

starcoder : mmap (and gpu) example (#338)

* Add basic mmap & GPU offload starcoder example

* starcode-mmap : adapt to new ggml API

---------

Co-authored-by: Georgi Gerganov <redacted>

cuda : fix CUDA arch: OFF -> 52;61 (#389)

ggml : sync llama.cpp (fix CUDA build, faster Metal)

close #379

cuda : support GLM-style RoPE (#383)

ggml : retire custom ggml_2d impl in favor of general (#352)

ggml : general conv_2d CPU implementation (#352)

* Conv2d s0 == s1 == 1, d0 == d1 == 1, variable padding

* Mark unused varibles

* Support variable strides

* Handle all non-kernel-width convolutions with same general conv2d

* General 2d Conv

* Remove old function

* Group functions

* Rearrange

* General Conv2d implementation

* Clean up whitespace

ggml : fix mul_mat src1 indexing when not contiguous and non-F32 (#386)

ggml : fix mul_mat src1 indexing when src1 is not contiguous (#386)

ggml : apply mul_mat broadcast fix (sync llama.cpp)

cuda : sync llama.cpp

ggml : broadcast mul_mat + conv batch support (#325)

* ggml : make src0 broadcast-able into src1 for ggml_mul_mat

* WIP: batch inference support for conv_2d

* Impl batch inference support cov_2d

* Correct offset in Conv2D

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : pool naming changes + coding style fixes

ggml : add CUDA gelu op (#374)

ggml : basic implementation of 1d and 2d pools (#375)

pools and tests

no lenet

ggml : revert CUDA broadcasting changes until fixed

ggml : remove unused function (#328)

ggml : fix compile warnings after #328

ggml : add callback to abort ggml_graph_compute() (#328)

* mechanism to abort ggml_graph_compute

* use pthread_cancel

* forgot to commit ggml.h

* static always_false()

Co-authored-by: Georgi Gerganov <redacted>
* accept callback data

* proper function prototype

* return exit status

* remove pthread_cancel and join every thread

* put abort_callback onto cplan

* cplan abort_callback in ggml.c

* make sure all threads abort

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : use a single kernel for CUDA mul op (#373)

tests : ifdef for #pragma GCC (#370)

readme : add link to ggllm.cpp repo (close #361)

ggml : broadcast ggml_add() for F32 (#359)

* Support broadcast add for fp32

* Use single kernel for broadcast add

ggml : support norm op on CUDA (#364)

starcoder : fix for ggml-model.bin being saved in wrong directory + use argparse (#363)

* Fix for starcoder ggml-model.bin being saved in wrong directory. Modernise by using argparse.

* Make sure output directory exists

ggml : fix ggml_set_xxx (#354)

`ggml_set_i32`/`ggml_set_f32` are in line with `ggml_set_i32_1d`/`ggml_set_f32_1d` then.

ggml : fix Alibi implementation (#351)

* correct Alibi implementation

* update f16 too

ggml : sync llama.cpp (fix for #341)

ggml : fix docs about element access (close #348)

starcoder : add <|end_of_turn|> token handling in order to support openchat/opencoderplus (#343)

* Add <|end_of_turn|> token handling to support openchat/opencoderplus

* The opencoder EOT occurs inside the prompt, so we should only break if the model actually generated it

---------

Co-authored-by: Mike <redacted>

pkg-config : fix typo in includedir (#367)

ggml : sync llama.cpp (changes to ggml_graph_compute() API) (#368)

ggml : minor indentation

ggml : restore GGML_RESTRICT (#350)

ggml : fix bug introduced in bfc6d42f8c2141383e4f21e4a030688c71560da0

tests : sync from llama.cpp and disable some obsolete tests

ggml : sync llama.cpp (generalize quantize_fns + CUDA improvements)

cmake : fix public header path for submodules (#342)

whisper : fix wrong variable name from previous commit

build : add pkg-config file (#335)

This makes it easier for other library consumers to find
the library and link to it.

Fixes #334

cmake : install the header file to ggml/ggml.h (#333)

Fixes #332

whisper : sync whisper.cpp (tinydiarize + OpenVINO)

readme : add link to ggml-gobject (#336)

This enables also some bindings to python (through pygi), gjs, vala, csharp, etc. However `ggml-gobject`s main purpose is to make the library a bit more friendly to the desktop platform, eg, by providing asynchronous operation, a DBus service, etc.

dolly : update error print behavior (#337)

dolly : disable interactive_port on Windows (#339)

dolly : add interactive prompt and port mode (#319)

* update basic function to execute prompt

* try to factor our prediciton loop

* update code

* update prompt things

* only render at the end

* add basic server port

* refactor

* fix client file descriptor

* undo common.h style changes

* undo sytle changes to main.cpp

* fix check for interactive port

examples : remove whitespace

examples : use GGML_FILE_MAGIC where possible (#323)

zig : add tests codes using zig (#315)

* update build.zig

* zig : add tests by zig

* zig : add tests codes using zig

* zig : add tests codes using zig

mpt : convert model weights part by part to save memory (#314)

* mpt : update conversion script to load model weights part by part

* mpt : add usage README

ggml : generalize interface for 1d and 2d convolutions (#313)

* conv_1d wip

* conv_1d opt

* conv_1d done

* conv_1 improve alias func name

* conv_2d wip

* conv size to separate func

* conv2d done

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : disable ggml_rope_back for ChatGLM

ggml : remove tensor ptr from export for now (close #267)

Not used for now

ggml : fix enum order for TANH (#316)

ggml : add `ELU`, `TANH`, `ARGMAX` (#316)

* add: `elu` activation

* add: `tanh` activation

* add: `argmax`

* ggml : rearrange ops - put "tanh" after "step"

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : add GGML_TENSOR_LOCALS helper macros (#309)

* [WIP] ref #292

* Further code reduction

* ggml : minor style fixes

* ggml : hide op locals in source file

---------

Co-authored-by: Georgi Gerganov <redacted>

starcoder : add repeat penalty (#311)

* implement repeat penalty processing for starcoder

* show effective parameters at starcoder startup

---------

Co-authored-by: Mike Ravkine <redacted>

ggml : sync latest llama.cpp (ggml_task_type changes + GPU backends)

zig : add tests by zig (#307)

* update build.zig

* zig : add tests by zig

ggml : support ChatGLM-style RoPE (#305)

ggml : increase max name size to 48

ggml : sync llama.cpp (NUMA + thread improvements + k-quants)

py : add requirements.txt (#201)

* Add requirements.txt

* Fix README.md files

readme : add link to CLIP example (#298)

ggml : fix invalid src0 dereference

ggml : remove _GNU_SOURCE

ref : https://github.com/ggerganov/whisper.cpp/pull/1027

zig : update build.zig (#296)

readme : add roadmap + manifesto

ggml : do not round up the conv 2D row size (#274)

whisper : fix ifdef