Update hot topics - RMSnorm

Fix RMS norm in GGML (#191)

Add RMS norm and use it (#187)

* add ggml_rms_norm

* update op num

fixed typo (#178)

add SIGINT support for _WIN32 environments (#120)

* add SIGINT support for _WIN32 environments

* perhaps more consistent

added ctx_size parameter (#148)

* added ctx_size parameter

* added it in more places

* Apply suggestions from code review

---------

Co-authored-by: Georgi Gerganov <redacted>

fixed color reset on exit (#149)

* fixed color reset on exit

* added sigint handler for ansi_color_reset

* Update main.cpp

---------

Co-authored-by: Georgi Gerganov <redacted>

Fix potential licensing issue (#126)

* Update README.md

* Update README.md

remove facebook

Use `tokenizer.vocab_size()` instead of hardcoding 32000 in convert-pth-to-ggml.py (#142)

There are ways that special tokens or other new tokens could be added to the tokenizer; therefore it's probably best not to assume the vocabulary is only 32000 tokens.

inline -> static inline for "bytesFromNibbles" (#161)

Without "static" prefix, it fails to compile in clang

Don't use vdotq_s32 if it's not available (#139)

* Don't use vdotq_s32 if it's not available

`dotprod` extensions aren't available on some ARM CPUs (e.g. Raspberry Pi 4), so check for them and only use them if they're available.

Reintroduces the code removed in 84d9015 if `__ARM_FEATURE_DOTPROD` isn't defined.

* Update ggml.c

---------

Co-authored-by: Georgi Gerganov <redacted>

Add section to README on how to run the project on Android (#130)

Add Misc section + update hot topics + minor fixes

Add windows to the CI (#98)

CMake build in Release by default (#75)

Update contribution section, hot topics, limitations, etc.

Print system information

Initial support for CMake (#75)

Add NetBSD support. (#90)

Use fprintf for diagnostic output (#48)

keep printf only for printing model output

one can now use ./main ... 2>dev/null to suppress any diagnostic output

Use vdotq_s32 to improve performance (#67)

* 10% performance boost on ARM

* Back to original change

Reduce model loading time (#43)

* Use buffering

* Use vector

* Minor

---------

Co-authored-by: Georgi Gerganov <redacted>

Fix UTF-8 handling (including colors) (#79)

Add quantize script for batch quantization (#92)

* Add quantize script for batch quantization

* Indentation

* README for new quantize.sh

* Fix script name

* Fix file list on Mac OS

---------

Co-authored-by: Georgi Gerganov <redacted>

Add initial contribution guidelines

Gate signal support on being on a unixoid system. (#74)

Fix token count accounting

Revert "10% performance boost on ARM"

This reverts commit 113a9e83ebc0f788f861394437087bf3ca0e019b.

There are some reports for illegal instruction.
Moved this stuff to vdotq_s32 branch until resolve

Check for vdotq_s32 availability

Ammend to previous commit - forgot to update non-QRDMX branch

10% performance boost on ARM

Fix color getting reset before prompt output done (#65)

(cherry picked from commit 7eb2987619feee04c40eff69b604017d09919cb6)

Update README.md

Add interactive mode (#61)

* Initial work on interactive mode.

* Improve interactive mode. Make rev. prompt optional.

* Update README to explain interactive mode.

* Fix OS X build

Fix typo in README (#45)

Allow using prompt files (#59)

Add back top_k (#56)

* Add back top_k

* Update utils.cpp

* Update utils.h

---------

Co-authored-by: Bill Hamilton <redacted>
Co-authored-by: Georgi Gerganov <redacted>

Windows fixes (#31)

* Apply fixes suggested to build on windows

Issue: https://github.com/ggerganov/llama.cpp/issues/22

* Remove unsupported VLAs

* MSVC: Remove features that are only available on MSVC C++20.

* Fix zero initialization of the other fields.

* Change the use of vector for stack allocations.

Update README.md

Add CI (#60)

Revert "weights_only" arg - this causing more trouble than help

python/pytorch compat notes (#44)

Add repetition penalty (#20)

* Adding repeat penalization

* Update utils.h

* Update utils.cpp

* Numeric fix

Should probably still scale by temp even if penalized

* Update comments, more proper application

I see that numbers can go negative so a fix from a referenced commit

* Minor formatting

---------

Co-authored-by: Georgi Gerganov <redacted>

Clarify meaning of hacking

README: add "Supported platforms" + update hot topics

use weights_only in conversion script (#32)

this restricts malicious weights from executing arbitrary code by restricting the unpickler to only loading tensors, primitive types, and dictionaries

Add LICENSE (#21)

Update README.md

Fix a typo in model name (#16)

Update README.md

Add AVX2 support for x86 architectures thanks to @Const-me !

Fix un-initialized FP16 tables on x86 (#15, #2)

Bump memory buffer

Update README.md

.gitignore models/

Update Makefile var + add comment

Update README.md

Update README.md

Support all LLaMA models + change Q4_0 quantization storage

Include Python dependencies in README (#6)

Update README.md

Update README.md

Update README.md

Add missing headers for memcpy and assert (#3)

Update README.md

Update README.md

Update README.md

Update README.md

Fix a bug in the rope calculation

Update README.md

Final touches

Create README.md

Initial release