examples : fix warnings (#152)

readme : add BLOOM example (#151)

examples : update readme with new quantization usage + remove bug alert

readme : update example list (#146)

examples : add StarCoder/SantaCoder sample inference (#146)

* init commit

* fix building starcoder

* gen work

* fix vocab

* santacoder mha

* .

* fix quantize

* offload_state_dict

* endoftext

* rename scripts

* fix main

* scripts

* update README

* quickfixes

gpt-neox : add non-parallel residual support (#139)

* Add non-parallel residual support

* Rename stablelm to gpt-neox

* Fix stablelm model name

common : allow prompts to be loaded from file (#102)

* common: allow prompts to be loaded from file

* common : extra help for -f

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : fix bug in alibi (#143)

dolly-v2 : ggml_cgraph init (#112)

examples : make struct initialization more portable (#112)

dolly-v2 : minor formatting

examples : add dolly-v2 sample inference (#132)

* Vocab support for special tokens

* Initial dolly-v2 commit

* update README

stablelm : update README.md

ggml : vectorize Q8_0 quantization (#127)

ggml : fix 32-bit ARM

whisper : sync with latest

scripts : update sync scripts

ggml : sync llama.cpp (clBLAST support + tensor names)

ggml : temp comment

ggml : fix UB (int << 31)

ggml, whisper : sync whisper.cpp (GGML_FTYPE + Q5 WASM SIMD)

ggml : fix labels for GGML_OP_ALIBI

ggml : fix 32-bit ARM NEON

ggml : use vzip instead of vuzp for consistency

ggml : fix SHARED build

ggml : sync llama.cpp (less memory for mul_mat f16 + asserts)

scripts : add sync-whisper.sh

common : forgot to remove Q4_3 references

ggml : remove Q4_3

ggml : ggml_alibi() fixes (#113)

ggml : add ggml_alibi (positional embedding) (#113)

Co-authored-by: @hhamud <redacted>

ggml : sync llama.cpp (CLBlast)

gitignore : add python env folders

readme : add bert.cpp link (#114)

stablelm : put warning about bug in the implementation

ggml : sync llama.cpp (Q5_0 + Q5_1) + refactor examples quantization

ggml : sync llama.cpp (fix GCC 8 build, close #99)

ggml : indentation

ggml : add GGML_API for exporting shared symbols

ggml : better PERF prints

tests : fix compile error (#98)

gpt-2 : remove GPT-J unnecessary import (#91)

tests : remove type cast (#100)

ggml : sync llama.cpp (AVX improvements)

ggml : fix Q4_3 cuBLAS + fix quantize_row_q4_2()

examples : refactor quantization tools

examples : utils -> common

ggml : fix ARM build

cmake : add CMake support for cuBLAS (#101)

* cmake : add cuBLAS support

* cmake : fix cuBLAS build

examples : add Q4_2 and Q4_3 quantization support

ggml : sync llama.cpp (Q4_3 + CUDA)

mnist : add missing header (#95)

stablelm : update README.md

minor : fix GPT-NeoX name

readme : add StableLM reference

examples : add StableLM example (#96)

* ggml : there is a bug in ggml_cpy() F32 -> F32

Cannot see why, but multi-thread does not work

* stablelm : initial implementation, but QKV seems broken

* stablelm : make it work

* stablelm : use original merged QKV matrix

* stablelm : minor

* stablelm : instructions

* stablelm : update README.md

ggml : sync llama.cpp (cuBLAS, Q4_3, bug fix, etc)

ggml : sync llama.cpp

examples : update huggingface links

ggml : sync llama.cpp

ggml : add ggml_type_name()

ggml : use posix_memalign on non-Windows env

ggml : add unary and binary map operations

ggml : avoid powf() calls in ggml_rope()

ggml : fix ARM NEON dot product types

mnist : update README

mnist : minor fixes and adjustments

examples : MNIST example for ggml (#84)

ggml : sync latest changes from llama.cpp

gpt-2 : typo fix for the Cerebras instructions (#57)

ggml : add GGML_DEFAULT_N_THREADS

gpt : fix pytorch converter text encodings (#78)

* Fixed quantization for f16 models not working - this is because the f16 tables were not initialized thus f16 to f32 conversion was failing.

* On some situations, the script fails with the error : UnicodeDecodeError: 'charmap' codec can't decode byte (byte) in position (number) : character maps to <undefined>
This is probably because the encodings are incorrect.
Explicitly specifying them as UTF-8 seems to resolve the issue and allow for correct conversion.

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : update roadmap

gpt-j : update inference to match latest llama.cpp insights

- Use F16 KV cache
- Store transposed V in the cache
- Avoid unnecessary Q copy

ggml : fix <windows.h> include

ggml : fix WASM build

whisper : sync with whisper.cpp

ggml : optimize ggml_cpy() for contiguous dst

ggml : sync with llama.cpp

- int64_t number of elements
- remove mlock
- expose quantization functions
- expose ggml_object
- add ggml_view_3d()
- multi-thread ggml_rope()
- fix ggml_cpy()
- add ggml_init_params.no_alloc
- fix ggml_mul_mat() backward

gpt : initialize f16 tables during quantization (#77)

readme : update Roadmap (add rwkv.cpp)

gpt-2 : minor update readme

gpt-2 : fix qunatize tool to quantize the "lm_head" tensor

gpt-2 : add Cerebras-GPT example

ggml : fix NEON sign types (#51)

gpt-2 : convert h5 to ggml (#35)

* Script to convert h5 to ggml adapted from gpt-j example

* Fix map tensors

* optimize

* rename headers to keep compatibility

* revert gpt-2/main.cpp

---------

Co-authored-by: Alan <redacted>
Co-authored-by: Alan <redacted>
Co-authored-by: ocordeiro <redacted>

readme : update Roadmap

ggml : 4-bit Integer quantisation + many llama.cpp improvements (#27)

* gq : attempt at n-bit quantization

* gq : add amax based method 3

* gq : progress on method 2

* gq : method 4 (AVX2)

* gq : method 4 (ARM)

* gq : method 4 (AVX2 attempt) + method 5 (no min)

* gq : method 5 (ARM)

* gpt-2 : model conversion for Q4_0 quantization

* ggml : Q4_0 quantization support (ggml_get_rows())

* gpt-2 : loading Q4_0 quantized model

* ggml : q4_0 quantization support

* ggml : q4_1 quantization support (seems to work for bigger models)

* gpt-2 : add gpt-2-quantize tool for quantizing f32 GPT-2 models

* ggml : 4-bit quantization works (only scalar for now)

* gq : add method 6 (ARM)

* ggml : vectorized mad q4_0 (ARM)

* ggml : vectorized quantize_row_q4_0 (ARM)

* ggml : simplify mad q4_0 (ARM)

* ggml : minor indentations

* gpt-j : support for 4-bit quantized model inference

* ggml : GGML_ASSERT() instead of assert() where appropriate

* gpt : avoid ggml_transpose on model tensors (new models!)

* gpt-2 : minor

* gpt-j : fix conversion for FP16 models (such as GPT-JT-6B)

* ggml : add ggml_compute_forward_rope_f16()

* gpt : fix memory usage computation

* ggml : fix ggml_is_contiguous() to take into account blck size

* whisper : add whisper-qunatize tool

* whisper : add support for quantized models

* whisper : mem usage based on model format type

* gpt : seems not worth to use FP16 for KV cache

* gpt : support quantisation of f16 models files

* ggml : fixes for rpi4

* whisper : add Q4_1 model sizes

* ggml : add WASM SIMD for Q4_0

* utils : print quantization histograms

* ggml : sync all changes from llama.cpp and whisper.cpp

* ggml : finalize the Q4_1 quantization for ARM_NEON

ggml : make it work on Windows (#46)

tests : add test-blas0

Fix CMake indentation

add OpenBLAS detection and modify tests codes (#40)

* fix indents and commands for Haiku, and add OpenBLAS detection in src/CMakeLists.txt

* add system detection and add OpenBLAS detection

* change loop number by environment variable GGML_NLOOP or command line option

* change fmadd codes on no FMA support system

* change n_threads by environment variable GGML_NTHREADS or command line option

---------

Co-authored-by: Georgi Gerganov <redacted>

CMakeLists: Fix Haiku CPU detection (#39)

Add pipe input for prompt on gpt examples (#38)

Enable prompt input through pipe, instead of using -p option.
This makes easier to give longer and multiple lines for the prompt.

Test:
 $ echo "This is an example" > prompt.txt
 $ cat prompt.txt | ./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin
 $ cat promot.txt | ./bin/gpt-2 -m models/gpt-2-117M/ggml-model.bin

Note that -p option and no -p specified case are kept.
 $ ./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin -p "This is an example"
 $ ./bin/gpt-j -m models/gpt-j-6B/ggml-model.bin
 $ ./bin/gpt-2 -m models/gpt-2-117M/ggml-model.bin -p "This is an example"
 $ ./bin/gpt-2 -m models/gpt-2-117M/ggml-model.bin

cmake : update CMakeLists.txt to add correct flags (#26)

* modify src/CMakeLists.txt from whisper.cpp

* cmake : remove OpenBLAS stuff

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : update Roadmap

readme : add Roadmap section

sync : latest whisper.cpp

tests : fix cblas_sgemm call

tests : add SVD experiments