Models11:24
Chinese contentBiSCo-LLM:无查找表二进制球面编码实现极低比特LLM压缩想省显存又不想损失太多模型质量?BiSCo-LLM用二进制球面编码把LLM压到2比特,不用查码表,存储更省。
想省显存又不想损失太多模型质量?BiSCo-LLM用二进制球面编码把LLM压到2比特,不用查码表,存储更省。
国产芯片终于能跑 1.58-bit 训练了,内存需求直降 6 倍,用国产算力的 AI 团队可以直接上手试试。
国产算力终于跑通端侧大模型全链路——6倍显存红利让8B模型直接上手机,做端侧AI部署或国产芯片适配的团队值得一试。