readme : add encodec.cpp link

readme : add BioGPT example link

ggml : add custom mapping functions (#264)

* Add custom mapping functions

The current mapping functions are basically jokes, add some real
ones. These ones get access to the actual tensor structs so they
can do things like

- Know the dimensions they are operating on
- Work with tensors with more than 2 dimensions, or transposed
- Operate on two differently sized tensors (like matmul)
- Use their own thread pool that does a better job than ggml does.

Among other things ...

* fix ordering mistake

* ggml : custom operators support scratch buffers

---------

Co-authored-by: Georgi Gerganov <redacted>

zig : add zig build system support (#279)

* add zig build system support

* add zig build system support

tests : allow to set threads to test-grad0

build : fix compilation errors and warnigns when building with MSVC (#275)

tests : increase stack size for test1 when building with MSVC (#277)

tests : use LBFGS optimizer instead of ADAM (close #276)

ADAM seems to behave differently since the recent training changes.
Need to see how to make it work again for test2 - probably some
parameters need to be adjusted

ggml : more verbose memory allocation failure (#270)

starcoder : add special tokens for fill-in-the-middle task (#269)

ggml : sync llama.cpp (tensor names)

ci : reduce GGML_NLOOP to 3

tests : sync test-grad0 from llama.cpp

ggml : fix bug in LBFGS optimizer

ggml : sync latest llama.cpp

gpt-2 : fix typo (#261)

Co-authored-by: Ebey Abraham <redacted>

whisper : removed duplicate lines in convert-pt-to-ggml.py (#256)

Deleted 2 lines of .astype(float32) conversion to the model weights (No real impact, just for cleaner code)

replit : update inference code to match reference (#218)

* Update replit inference code to match reference

* Add qntvr printf

ci : introduce Github Actions CI workflow (#247)

* Introduce Github Actions CI workflow for the ggml repo

This commit integrates a Github Actions CI workflow that compiles and tests the codebase on both Ubuntu 22.04 and macOS 12 Monterey. The workflow is triggered on pull requests against the main branch and on every push to the main branch.

To accommodate the resource constraints of the Github-hosted runners, a `GGML_NITER` environment variable is introduced, allowing tests to run within a reasonable time frame. `test-grad0.c` is modified to use this variable instead of `GGML_NLOOP`.

The workflow file includes:

- A build strategy for both Ubuntu and MacOS.
- An environment setup with variables `GGML_NLOOP` and `GGML_NITER`.
- A step to limit the number of threads used by `test2.c` for efficient execution.
- A typical build process with steps for environment creation, CMake configuration, building, and verbose testing with a timeout.

* main to master

ggml : convert interleaved addressing to sequential addressing for reduce functions (#117)

* Convert interleaved addressing to sequential addressing for REDUCE

* update addressing on new archs

examples : fix c++ standard errors and pedantic warnings (#239)

ggml : fix minor resource leak reported by static analysis (#237)

starcoder : add support for starchat special tokens (#246)

* starcoder : add support for starchat special tokens

* examples : fix `gpt_tokenize()` for special tokens

ggml : return input tensor in ggml_set_name (#262)

this is SO USEFUL for debugging. in order to find any cgraph node,
I can wrap it in ggml_set_name and set a conditional breakpoint.

but I can only wrap existing code if this returns its input.
otherwise the barrier becomes annoyingly high (have to move a
bunch of code around to add name to a tensor)

ggml : fix ggml_clamp (#263)

This unconditionally failed before

ggml : add quick GELU (#254)

* Implement Quick GELU

* Revert "Implement Quick GELU"

This reverts commit ff220cc1f91a184f195d19b17ed4c352cc72a6f0.

* Tidy up ggml.h

* Respect to the style of ggml

* Fix: Fix minor typo

* Rename `quick_gelu` -> `gelu_quick`

cmake : export all symbols on windows when building shared library (#234)

Currently building ggml on windows as a shared library does not export all symbols by default.

ggml : correct off-by-one bounds check in ggml_compute_forward_set_f32 (#229)

without this fix you will be unable to set a zero-length tensor to the end of another tensor

this sounds stupid, but is used in my testing

gpt-neox : fix ctx size calculation (#228)

ggml : fix ggml_clamp thresholds being read as ints instead of floats (#221)

ggml : add inplace ops api in header file (#219)

ggml : add ggml_conv_2d_sk_p0(), ggml_win_part(), ggml_win_unpart()

ggml : fix ggml op conv_1d enum names

ggml : better conv_1d naming

ggml : rename conv_1d ops to reflect half-padding used

ggml : fix compiler warnings for printf

mnist : remove redundant stuff + rename ctx0

mnist : add missing header (#213)

common : fix compilation on Linux (#212)

ggml : cgraph export/import/eval example + GPU support (#108)

* ggml : cgraph export brainstorming

* mnist : code style

* mnist : minor

* ggml : initial cgraph export

* ggml : initial graph import (wip)

* ggml : import op args correctly

* ggml : add ggml_get_tensor_by_name()

* mnist : add compute graph evaluation on CPU example

* ggml : add ggml_tensor_overhead()

* ggml : rename new functions to ggml_cgraph_...

* mnist : add Metal inference skeleton (WIP)

* mnist : working on the Metal pipeline (WIP)

* mnist : prepare the Metal encoder (WIP)

* mnist : first Metal kernel for F32 ADD

* mnist : looks like MTLHeap does not work

* mnist : initial full pass of MNIST on the GPU (not verified)

* mnist : minor cleanup

* mnist : full GPU inference works

* mnist : use custom soft_max kernel since MPSMatrixSoftMax is bugged

* mnist : use constant for soft_max instead of hardcoded 10

* mnist : check multiple predictions (Metal)

* mnist : minor

* ggml : move cgraph import / export to ggml

* mnist : remove common dependencies

* mnist : fix soft_max threadgroup size

* mnist : init no_alloc member

* ggml : improve "get tensor" API

fix : fix ggml_alibi (#204)

readme : add "development" (#203)

You are welcome lol

ggml : add CLBLAST support (#197)

Enable support for the RISCV architecture

This addresses https://github.com/ggerganov/ggml/issues/129

cuda : sync latest llama.cpp (control DMMV X/Y sizes)

ggml : add ggml_tensor_overhead() + ggml_get_tensort_by_name()

ggml : sync llama.cpp (OpenCL support for GPU offload)

mnist : gitignore stuff

examples : add tokenization tests and refactor codes (#186)

* examples : [refactor] remove unnecessary lines and segments

* examples : [feature] add tokenization test for gpt-neox

* examples : [feature] handle multibyte character set

* examples : [refactor] find the longest token for word

* examples : [refactor] move test_tokenizer to common.cpp as the function affects other models

* add 'test_tokenizer' function after loading the model

* examples : [feature] add test cases for checking tokenization

* examples : [feature] tokenize with huggingface tokenizers for currently supported models

* examples : add tokenization test cases for each model

* revert conversion from string to utf-8 encoded byte strings

* [refactor] make util functions for testing tokenizers available

* [bug fix] test replit using functions and variables (e.g. tokenizer struct, tokenization method) defined in its main.cpp

* [refactor] modify function name test_tokenizer -> test_gpt_tokenizer

* [refactor] put parenthesis on single line for-loops and if-statements

* [refactor] withdraw <filesystem> and use <iostream> and <dirent.h>

* [refactor] remove 'find_test_file' function and directly set test file path from 'test_gpt_tokenizer' function

* call a function for testing tokenizer with filename specified

* revert test tokenizer in replit (replit uses seperate methods for tokenzation and decoding)

* compare vector of id to check if two tokenizations are identical.

* write token ids instead of strings.

* [refactor] use --token_test rather than --test for token-test argument

* add english test cases

* update test cases with more english prompts

* examples : tokenizer testing fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

Update README.md

minor : fix printf warnings

mnist : smooth user input (#199)

Drawing on the canvas is now smooth. The final image which is used for
prediction is obtained by down-scaling the canvas to 28x28 pixels.
Download button is aslo added for downloading raw image values.

examples : add missing header file (#198)

Some of the examples are missing the cstring header which is needed for
memcpy().

mnist : add progress indicator on the web page (#194)

Prevent user actions before the model and the data set is loaded

mnist : add WASM instructions + web-page link

mnist : add web page for the MNIST example (#190)

The web page is using WASM for model inference.
Users can draw digits on an HTML canvas and load random digits from the
MNIST dataset.

mnist : cleanup main.cpp

docs : add golang transformer bindings (#191)

This PR adds golang bindings to transformers in ggml

mpt : fix n_ctx (close #165)

examples : remove prompt pipe-in support

Need cross-platform solution, factored out in common

common : add missing declarations

mpt : utf-8 support, perplexity testing, repeat penalty sampling (#184)

* common: utf-8 decoder, reverted gpt_toeknize utf-8 convert

* Update common.h

* main: decode utf-8 tokens on load

* mpt import: bug fix

* common: style fixes

* common: style fix

* Update common.h

* common: revert gpt_tokenize utf-8 convert

* Update common.cpp

* Update common.cpp

* Update common.cpp

* Add perplexity to mpt

* Update CMakeLists: perplexity

* mpt-perplexity: fixes

* Update perplexity.cpp

* common: add sampling with repeat penalty

* mpt-main: add repeat penalty sampling, add commandline parameters

* Update common.h

* mpt-main: style fixes

* Update perplexity.cpp

* Delete perplexity.cpp

* mpt: move perplexity to main

* mpt: move perplexity to main

* common.cpp: Use codecvt utf-8 converter

* main.cpp: Use codecvt utf-8 converter

* mpt : code style changes

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : update Features

readme : add link to python bindings (#181)

common : support utf-8 + fix gpt_tokenize + fix MPT model import (#179)

* Update convert-h5-to-ggml.py

* Import tokens correctly

* gpt_tokenize: Convert input to utf-8 + bug fix

* common : minor style fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : add link to GGML format docs (#177)

examples : use scratch buffers to reduce memory usage (#176)

* starcoder : example for using scratch buffers to reduce memory usage

* starcoder : bump scratch buffers to 256 MB

* examples : add scratch buffers to MPT and GPT-NeoX

ggml : update WASM SIMD

whisper : fix Hebrew lang id

examples : add quantize version to MPT and Replit examples (ref #168)

common : force --top_k to be at least 1

examples : fix vocab loading (close #163)

common : fix gpt_tokenize (ref #170)

dolly-v2 : par_res and neox changes (#167)

* dolly-v2 example: par_res and neox changes

* Update examples/dolly-v2/quantize.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

examples : call ggml_time_init() (close #166)

Update README.md

ggml : sync llama.cpp - CUDA improvements + ggml minor fixes

ggml : sync llama.cpp - new quantization formats Q4 + Q8

readme : update roadmap (#164)

+ MPT & Replit

examples : sample replit + MPT inference (#145)

* Add replit model

* Add unigram tokenization support

* Remove debug log

* Port alibi attn bias fix

* Remove torch input

* Fix hardcoded path

* Remove unsupported hyperparams

* Add mpt

* Add replit quantization script

* Remove debug print

* Add quantization support to mpt

* Reformat

* Remove trailing return type

* Implement stylistic changes

* use f16 in k/v memory calculations for replit/mpt

* Update context size calculation

* Add clip_qkv and alibi_bias_max support

* fix clamping implementation, remove implicit conversions

* Fix qkv if condition

* Fix replit context size calculation

* Potentially fix gcc compilation error

* Fix warning

* Adjust object overhead

* Remove dead code

examples : fix a hyperparameter value in gpt-neox (#161) (#162)

ggml : fix typo in ggml_diag_mask_zero_inplace() (#159)

readme : add link to training example

ggml : add AVX dot products

whisper : sync whisper.cpp

starcoder : detect santacoder fix end of text token (#155)

Co-authored-by: IGUILIZ Salah-Eddine <redacted>

readme : add re-quantization warning

examples : use inplace calls explicitly

tests : add tests from llama.cpp

ggml : fix multi-threaded ggml_compute_forward_diag_mask_f32()

ggml : fix rope calculation (!inplace + GPT-NeoX mode)

ggml : new Q4 and Q5 quantization formats + backward ops

sync llama.cpp

- bump GGML_QNT_VERSION -> 1
- increase cwggml object overhead size from 256 to 512 in examples
- drop Q4_2 support
- tensor backend support CUDA

ggml : add GGML_QNT_VERSION for tracking changes to the quantization format

ref #150

whisper : sync whisper.cpp minor changes

starcoder : update example to follow the naming convention of other examples (#153)

readme : fix gpt-neox example link

examples : fix warnings (#152)

readme : add BLOOM example (#151)

examples : update readme with new quantization usage + remove bug alert

readme : update example list (#146)

examples : add StarCoder/SantaCoder sample inference (#146)

* init commit

* fix building starcoder

* gen work

* fix vocab

* santacoder mha

* .

* fix quantize

* offload_state_dict

* endoftext

* rename scripts

* fix main

* scripts

* update README

* quickfixes