精选理由
这位工程师给算了一笔账:微调7B模型只要几十英镑,而且托管推理按量付费,建议老板们别再犹豫了。
作者研究后发现,在Together AI或Fireworks上对7-16B模型做LoRA微调,计算成本仅需£10-50,70B QLoRA也不超过£200。推理方面,托管端点按基模型费率收费约£0.20-0.90/百万token,自托管spot H100约£1-2.50/小时,但流量波动时容易超支。数据准备和GDPR合规仍需投入时间。整体门槛已大幅降低,适合企业用自有数据试点。
AI 翻译 · 中文
作者研究后发现,在Together AI或Fireworks上对7-16B模型做LoRA微调,计算成本仅需£10-50,70B QLoRA也不超过£200。推理方面,托管端点按基模型费率收费约£0.20-0.90/百万token,自托管spot H100约£1-2.50/小时,但流量波动时容易超支。数据准备和GDPR合规仍需投入时间。整体门槛已大幅降低,适合企业用自有数据试点。
This, literally, got me thinking about actually doing it. I went in and did a quick bit of research on how practical it really is. Fine-tuning itself is now stupidly cheap on platforms like Together AI or Fireworks. LoRA…