ggml : return input tensor in ggml_set_name (#262)

this is SO USEFUL for debugging. in order to find any cgraph node,
I can wrap it in ggml_set_name and set a conditional breakpoint.

but I can only wrap existing code if this returns its input.
otherwise the barrier becomes annoyingly high (have to move a
bunch of code around to add name to a tensor)

ggml : fix ggml_clamp (#263)

This unconditionally failed before

ggml : add quick GELU (#254)

* Implement Quick GELU

* Revert "Implement Quick GELU"

This reverts commit ff220cc1f91a184f195d19b17ed4c352cc72a6f0.

* Tidy up ggml.h

* Respect to the style of ggml

* Fix: Fix minor typo

* Rename `quick_gelu` -> `gelu_quick`

cmake : export all symbols on windows when building shared library (#234)

Currently building ggml on windows as a shared library does not export all symbols by default.

ggml : correct off-by-one bounds check in ggml_compute_forward_set_f32 (#229)

without this fix you will be unable to set a zero-length tensor to the end of another tensor

this sounds stupid, but is used in my testing

gpt-neox : fix ctx size calculation (#228)

ggml : fix ggml_clamp thresholds being read as ints instead of floats (#221)

ggml : add inplace ops api in header file (#219)

ggml : add ggml_conv_2d_sk_p0(), ggml_win_part(), ggml_win_unpart()

ggml : fix ggml op conv_1d enum names

ggml : better conv_1d naming

ggml : rename conv_1d ops to reflect half-padding used

ggml : fix compiler warnings for printf

mnist : remove redundant stuff + rename ctx0

mnist : add missing header (#213)

common : fix compilation on Linux (#212)

ggml : cgraph export/import/eval example + GPU support (#108)

* ggml : cgraph export brainstorming

* mnist : code style

* mnist : minor

* ggml : initial cgraph export

* ggml : initial graph import (wip)

* ggml : import op args correctly

* ggml : add ggml_get_tensor_by_name()

* mnist : add compute graph evaluation on CPU example

* ggml : add ggml_tensor_overhead()

* ggml : rename new functions to ggml_cgraph_...

* mnist : add Metal inference skeleton (WIP)

* mnist : working on the Metal pipeline (WIP)

* mnist : prepare the Metal encoder (WIP)

* mnist : first Metal kernel for F32 ADD

* mnist : looks like MTLHeap does not work

* mnist : initial full pass of MNIST on the GPU (not verified)

* mnist : minor cleanup

* mnist : full GPU inference works

* mnist : use custom soft_max kernel since MPSMatrixSoftMax is bugged

* mnist : use constant for soft_max instead of hardcoded 10

* mnist : check multiple predictions (Metal)

* mnist : minor

* ggml : move cgraph import / export to ggml

* mnist : remove common dependencies

* mnist : fix soft_max threadgroup size

* mnist : init no_alloc member

* ggml : improve "get tensor" API

fix : fix ggml_alibi (#204)

readme : add "development" (#203)

You are welcome lol

ggml : add CLBLAST support (#197)

Enable support for the RISCV architecture

This addresses https://github.com/ggerganov/ggml/issues/129

cuda : sync latest llama.cpp (control DMMV X/Y sizes)

ggml : add ggml_tensor_overhead() + ggml_get_tensort_by_name()

ggml : sync llama.cpp (OpenCL support for GPU offload)

mnist : gitignore stuff

examples : add tokenization tests and refactor codes (#186)

* examples : [refactor] remove unnecessary lines and segments

* examples : [feature] add tokenization test for gpt-neox

* examples : [feature] handle multibyte character set

* examples : [refactor] find the longest token for word

* examples : [refactor] move test_tokenizer to common.cpp as the function affects other models

* add 'test_tokenizer' function after loading the model

* examples : [feature] add test cases for checking tokenization

* examples : [feature] tokenize with huggingface tokenizers for currently supported models

* examples : add tokenization test cases for each model

* revert conversion from string to utf-8 encoded byte strings

* [refactor] make util functions for testing tokenizers available

* [bug fix] test replit using functions and variables (e.g. tokenizer struct, tokenization method) defined in its main.cpp

* [refactor] modify function name test_tokenizer -> test_gpt_tokenizer

* [refactor] put parenthesis on single line for-loops and if-statements

* [refactor] withdraw <filesystem> and use <iostream> and <dirent.h>

* [refactor] remove 'find_test_file' function and directly set test file path from 'test_gpt_tokenizer' function

* call a function for testing tokenizer with filename specified

* revert test tokenizer in replit (replit uses seperate methods for tokenzation and decoding)

* compare vector of id to check if two tokenizations are identical.

* write token ids instead of strings.

* [refactor] use --token_test rather than --test for token-test argument

* add english test cases

* update test cases with more english prompts

* examples : tokenizer testing fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

Update README.md

minor : fix printf warnings

mnist : smooth user input (#199)

Drawing on the canvas is now smooth. The final image which is used for
prediction is obtained by down-scaling the canvas to 28x28 pixels.
Download button is aslo added for downloading raw image values.

examples : add missing header file (#198)

Some of the examples are missing the cstring header which is needed for
memcpy().

mnist : add progress indicator on the web page (#194)

Prevent user actions before the model and the data set is loaded

mnist : add WASM instructions + web-page link

mnist : add web page for the MNIST example (#190)

The web page is using WASM for model inference.
Users can draw digits on an HTML canvas and load random digits from the
MNIST dataset.

mnist : cleanup main.cpp

docs : add golang transformer bindings (#191)

This PR adds golang bindings to transformers in ggml

mpt : fix n_ctx (close #165)

examples : remove prompt pipe-in support

Need cross-platform solution, factored out in common

common : add missing declarations

mpt : utf-8 support, perplexity testing, repeat penalty sampling (#184)

* common: utf-8 decoder, reverted gpt_toeknize utf-8 convert

* Update common.h

* main: decode utf-8 tokens on load

* mpt import: bug fix

* common: style fixes

* common: style fix

* Update common.h

* common: revert gpt_tokenize utf-8 convert

* Update common.cpp

* Update common.cpp

* Update common.cpp

* Add perplexity to mpt

* Update CMakeLists: perplexity

* mpt-perplexity: fixes

* Update perplexity.cpp

* common: add sampling with repeat penalty

* mpt-main: add repeat penalty sampling, add commandline parameters

* Update common.h

* mpt-main: style fixes

* Update perplexity.cpp

* Delete perplexity.cpp

* mpt: move perplexity to main

* mpt: move perplexity to main

* common.cpp: Use codecvt utf-8 converter

* main.cpp: Use codecvt utf-8 converter

* mpt : code style changes

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : update Features

readme : add link to python bindings (#181)

common : support utf-8 + fix gpt_tokenize + fix MPT model import (#179)

* Update convert-h5-to-ggml.py

* Import tokens correctly

* gpt_tokenize: Convert input to utf-8 + bug fix

* common : minor style fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : add link to GGML format docs (#177)

examples : use scratch buffers to reduce memory usage (#176)

* starcoder : example for using scratch buffers to reduce memory usage

* starcoder : bump scratch buffers to 256 MB

* examples : add scratch buffers to MPT and GPT-NeoX

ggml : update WASM SIMD

whisper : fix Hebrew lang id

examples : add quantize version to MPT and Replit examples (ref #168)

common : force --top_k to be at least 1

examples : fix vocab loading (close #163)

common : fix gpt_tokenize (ref #170)

dolly-v2 : par_res and neox changes (#167)

* dolly-v2 example: par_res and neox changes

* Update examples/dolly-v2/quantize.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

examples : call ggml_time_init() (close #166)

Update README.md

ggml : sync llama.cpp - CUDA improvements + ggml minor fixes

ggml : sync llama.cpp - new quantization formats Q4 + Q8

readme : update roadmap (#164)

+ MPT & Replit

examples : sample replit + MPT inference (#145)

* Add replit model

* Add unigram tokenization support

* Remove debug log

* Port alibi attn bias fix

* Remove torch input

* Fix hardcoded path

* Remove unsupported hyperparams

* Add mpt

* Add replit quantization script

* Remove debug print

* Add quantization support to mpt

* Reformat

* Remove trailing return type

* Implement stylistic changes

* use f16 in k/v memory calculations for replit/mpt

* Update context size calculation

* Add clip_qkv and alibi_bias_max support

* fix clamping implementation, remove implicit conversions

* Fix qkv if condition

* Fix replit context size calculation

* Potentially fix gcc compilation error

* Fix warning

* Adjust object overhead

* Remove dead code

examples : fix a hyperparameter value in gpt-neox (#161) (#162)

ggml : fix typo in ggml_diag_mask_zero_inplace() (#159)

readme : add link to training example

ggml : add AVX dot products

whisper : sync whisper.cpp

starcoder : detect santacoder fix end of text token (#155)

Co-authored-by: IGUILIZ Salah-Eddine <redacted>

readme : add re-quantization warning

examples : use inplace calls explicitly

tests : add tests from llama.cpp

ggml : fix multi-threaded ggml_compute_forward_diag_mask_f32()

ggml : fix rope calculation (!inplace + GPT-NeoX mode)

ggml : new Q4 and Q5 quantization formats + backward ops

sync llama.cpp

- bump GGML_QNT_VERSION -> 1
- increase cwggml object overhead size from 256 to 512 in examples
- drop Q4_2 support
- tensor backend support CUDA

ggml : add GGML_QNT_VERSION for tracking changes to the quantization format

ref #150

whisper : sync whisper.cpp minor changes

starcoder : update example to follow the naming convention of other examples (#153)

readme : fix gpt-neox example link

examples : fix warnings (#152)

readme : add BLOOM example (#151)

examples : update readme with new quantization usage + remove bug alert

readme : update example list (#146)

examples : add StarCoder/SantaCoder sample inference (#146)

* init commit

* fix building starcoder

* gen work

* fix vocab

* santacoder mha

* .

* fix quantize

* offload_state_dict

* endoftext

* rename scripts

* fix main

* scripts

* update README

* quickfixes

gpt-neox : add non-parallel residual support (#139)

* Add non-parallel residual support

* Rename stablelm to gpt-neox

* Fix stablelm model name

common : allow prompts to be loaded from file (#102)

* common: allow prompts to be loaded from file

* common : extra help for -f

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : fix bug in alibi (#143)

dolly-v2 : ggml_cgraph init (#112)

examples : make struct initialization more portable (#112)

dolly-v2 : minor formatting

examples : add dolly-v2 sample inference (#132)

* Vocab support for special tokens

* Initial dolly-v2 commit

* update README

stablelm : update README.md

ggml : vectorize Q8_0 quantization (#127)

ggml : fix 32-bit ARM

whisper : sync with latest

scripts : update sync scripts

ggml : sync llama.cpp (clBLAST support + tensor names)

ggml : temp comment

ggml : fix UB (int << 31)

ggml, whisper : sync whisper.cpp (GGML_FTYPE + Q5 WASM SIMD)

ggml : fix labels for GGML_OP_ALIBI

ggml : fix 32-bit ARM NEON

ggml : use vzip instead of vuzp for consistency

ggml : fix SHARED build

ggml : sync llama.cpp (less memory for mul_mat f16 + asserts)

scripts : add sync-whisper.sh

common : forgot to remove Q4_3 references