Gigatoken让训练前tokenization不再等待，速度提升数量级

斯坦福AI实验室的Tatsunori Hashimoto介绍了Gigatoken，一个超快速的tokenizer。它通过贴近硬件和编写状态机，将tokenization速度提升了数量级。研究者表示再也不需要等待tokenization完成再开始训练。