微调7B-16B模型成本低至£10-50,运维才是难点

This, literally, got me thinking about actually do…

精选理由

这位工程师给算了一笔账:微调7B模型只要几十英镑,而且托管推理按量付费,建议老板们别再犹豫了。

AI 摘要

作者研究后发现,在Together AI或Fireworks上对7-16B模型做LoRA微调,计算成本仅需£10-50,70B QLoRA也不超过£200。推理方面,托管端点按基模型费率收费约£0.20-0.90/百万token,自托管spot H100约£1-2.50/小时,但流量波动时容易超支。数据准备和GDPR合规仍需投入时间。整体门槛已大幅降低,适合企业用自有数据试点。

AI 翻译 · 中文

作者研究后发现,在Together AI或Fireworks上对7-16B模型做LoRA微调,计算成本仅需£10-50,70B QLoRA也不超过£200。推理方面,托管端点按基模型费率收费约£0.20-0.90/百万token,自托管spot H100约£1-2.50/小时,但流量波动时容易超支。数据准备和GDPR合规仍需投入时间。整体门槛已大幅降低,适合企业用自有数据试点。

@koltregaskesThis, literally, got me thinking about actually doing it. I went in and did a quick bit of research on how practical it really is. Fine-tuning itself is now stupidly cheap on platforms like Together AI or Fireworks. LoRA