examples : remove prompt pipe-in support

Need cross-platform solution, factored out in common

common : add missing declarations

mpt : utf-8 support, perplexity testing, repeat penalty sampling (#184)

* common: utf-8 decoder, reverted gpt_toeknize utf-8 convert

* Update common.h

* main: decode utf-8 tokens on load

* mpt import: bug fix

* common: style fixes

* common: style fix

* Update common.h

* common: revert gpt_tokenize utf-8 convert

* Update common.cpp

* Update common.cpp

* Update common.cpp

* Add perplexity to mpt

* Update CMakeLists: perplexity

* mpt-perplexity: fixes

* Update perplexity.cpp

* common: add sampling with repeat penalty

* mpt-main: add repeat penalty sampling, add commandline parameters

* Update common.h

* mpt-main: style fixes

* Update perplexity.cpp

* Delete perplexity.cpp

* mpt: move perplexity to main

* mpt: move perplexity to main

* common.cpp: Use codecvt utf-8 converter

* main.cpp: Use codecvt utf-8 converter

* mpt : code style changes

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : update Features

readme : add link to python bindings (#181)

common : support utf-8 + fix gpt_tokenize + fix MPT model import (#179)

* Update convert-h5-to-ggml.py

* Import tokens correctly

* gpt_tokenize: Convert input to utf-8 + bug fix

* common : minor style fixes

---------

Co-authored-by: Georgi Gerganov <redacted>

readme : add link to GGML format docs (#177)

examples : use scratch buffers to reduce memory usage (#176)

* starcoder : example for using scratch buffers to reduce memory usage

* starcoder : bump scratch buffers to 256 MB

* examples : add scratch buffers to MPT and GPT-NeoX

ggml : update WASM SIMD

whisper : fix Hebrew lang id

examples : add quantize version to MPT and Replit examples (ref #168)

common : force --top_k to be at least 1

examples : fix vocab loading (close #163)

common : fix gpt_tokenize (ref #170)

dolly-v2 : par_res and neox changes (#167)

* dolly-v2 example: par_res and neox changes

* Update examples/dolly-v2/quantize.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

examples : call ggml_time_init() (close #166)

Update README.md

ggml : sync llama.cpp - CUDA improvements + ggml minor fixes

ggml : sync llama.cpp - new quantization formats Q4 + Q8

readme : update roadmap (#164)

+ MPT & Replit

examples : sample replit + MPT inference (#145)

* Add replit model

* Add unigram tokenization support

* Remove debug log

* Port alibi attn bias fix

* Remove torch input

* Fix hardcoded path

* Remove unsupported hyperparams

* Add mpt

* Add replit quantization script

* Remove debug print

* Add quantization support to mpt

* Reformat

* Remove trailing return type

* Implement stylistic changes

* use f16 in k/v memory calculations for replit/mpt

* Update context size calculation

* Add clip_qkv and alibi_bias_max support

* fix clamping implementation, remove implicit conversions

* Fix qkv if condition

* Fix replit context size calculation

* Potentially fix gcc compilation error

* Fix warning

* Adjust object overhead

* Remove dead code

examples : fix a hyperparameter value in gpt-neox (#161) (#162)

ggml : fix typo in ggml_diag_mask_zero_inplace() (#159)

readme : add link to training example

ggml : add AVX dot products

whisper : sync whisper.cpp

starcoder : detect santacoder fix end of text token (#155)

Co-authored-by: IGUILIZ Salah-Eddine <redacted>

readme : add re-quantization warning

examples : use inplace calls explicitly

tests : add tests from llama.cpp

ggml : fix multi-threaded ggml_compute_forward_diag_mask_f32()

ggml : fix rope calculation (!inplace + GPT-NeoX mode)

ggml : new Q4 and Q5 quantization formats + backward ops

sync llama.cpp

- bump GGML_QNT_VERSION -> 1
- increase cwggml object overhead size from 256 to 512 in examples
- drop Q4_2 support
- tensor backend support CUDA

ggml : add GGML_QNT_VERSION for tracking changes to the quantization format

ref #150

whisper : sync whisper.cpp minor changes

starcoder : update example to follow the naming convention of other examples (#153)

readme : fix gpt-neox example link

examples : fix warnings (#152)

readme : add BLOOM example (#151)

examples : update readme with new quantization usage + remove bug alert

readme : update example list (#146)

examples : add StarCoder/SantaCoder sample inference (#146)

* init commit

* fix building starcoder

* gen work

* fix vocab

* santacoder mha

* .

* fix quantize

* offload_state_dict

* endoftext

* rename scripts

* fix main

* scripts

* update README

* quickfixes

gpt-neox : add non-parallel residual support (#139)

* Add non-parallel residual support

* Rename stablelm to gpt-neox

* Fix stablelm model name

common : allow prompts to be loaded from file (#102)

* common: allow prompts to be loaded from file

* common : extra help for -f

---------

Co-authored-by: Georgi Gerganov <redacted>

ggml : fix bug in alibi (#143)

dolly-v2 : ggml_cgraph init (#112)

examples : make struct initialization more portable (#112)

dolly-v2 : minor formatting

examples : add dolly-v2 sample inference (#132)

* Vocab support for special tokens

* Initial dolly-v2 commit

* update README

stablelm : update README.md

ggml : vectorize Q8_0 quantization (#127)

ggml : fix 32-bit ARM

whisper : sync with latest

scripts : update sync scripts

ggml : sync llama.cpp (clBLAST support + tensor names)

ggml : temp comment

ggml : fix UB (int << 31)

ggml, whisper : sync whisper.cpp (GGML_FTYPE + Q5 WASM SIMD)

ggml : fix labels for GGML_OP_ALIBI

ggml : fix 32-bit ARM NEON

ggml : use vzip instead of vuzp for consistency

ggml : fix SHARED build

ggml : sync llama.cpp (less memory for mul_mat f16 + asserts)

scripts : add sync-whisper.sh

common : forgot to remove Q4_3 references

ggml : remove Q4_3

ggml : ggml_alibi() fixes (#113)

ggml : add ggml_alibi (positional embedding) (#113)

Co-authored-by: @hhamud <redacted>

ggml : sync llama.cpp (CLBlast)

gitignore : add python env folders

readme : add bert.cpp link (#114)

stablelm : put warning about bug in the implementation

ggml : sync llama.cpp (Q5_0 + Q5_1) + refactor examples quantization

ggml : sync llama.cpp (fix GCC 8 build, close #99)

ggml : indentation

ggml : add GGML_API for exporting shared symbols

ggml : better PERF prints

tests : fix compile error (#98)

gpt-2 : remove GPT-J unnecessary import (#91)

tests : remove type cast (#100)

ggml : sync llama.cpp (AVX improvements)

ggml : fix Q4_3 cuBLAS + fix quantize_row_q4_2()

examples : refactor quantization tools

examples : utils -> common

ggml : fix ARM build

cmake : add CMake support for cuBLAS (#101)

* cmake : add cuBLAS support

* cmake : fix cuBLAS build

examples : add Q4_2 and Q4_3 quantization support

ggml : sync llama.cpp (Q4_3 + CUDA)

mnist : add missing header (#95)

stablelm : update README.md

minor : fix GPT-NeoX name

readme : add StableLM reference

examples : add StableLM example (#96)

* ggml : there is a bug in ggml_cpy() F32 -> F32

Cannot see why, but multi-thread does not work

* stablelm : initial implementation, but QKV seems broken

* stablelm : make it work

* stablelm : use original merged QKV matrix

* stablelm : minor

* stablelm : instructions

* stablelm : update README.md

ggml : sync llama.cpp (cuBLAS, Q4_3, bug fix, etc)

ggml : sync llama.cpp

examples : update huggingface links

ggml : sync llama.cpp

ggml : add ggml_type_name()

ggml : use posix_memalign on non-Windows env

ggml : add unary and binary map operations