做因果推断或行为建模的团队会发现，嵌入相似度直接当因果用是危险的——这篇给出了可落地的对比学习方案，还附带了加速脚本，值得直接试。
研究发现，预训练的生物医学语言模型（如BioBERT、PubMedBERT）在跨领域概念对（如“皮质醇28 ug/dL”与“股市波动性”）上给出高达0.83的余弦相似度，而正确答案应接近零。这种虚假相关性在大型行为模型（LBM）中会导致错误的因果边，进而污染下游推理。研究者提出对比学习方案：第一轮对比训练将PubMedBERT的BIOSSES相关性从0.633提升至0.828，跨领域分离度从1.05倍提升至1.63倍；第二轮BODHI方法通过挖掘知识图谱中的硬负例，将分离度提升至2.30倍，判别差距提升至+0.392。在Intel Xeon 6737P上，OpenVINO将单查询延迟从1367毫秒降至10毫秒（133倍加速），每秒可处理555个句子。研究还发现FP16在该芯片上优于INT8，并解释了原因。
研究发现，预训练的生物医学语言模型（如BioBERT、PubMedBERT）在跨领域概念对（如“皮质醇28 ug/dL”与“股市波动性”）上给出高达0.83的余弦相似度，而正确答案应接近零。这种虚假相关性在大型行为模型（LBM）中会导致错误的因果边，进而污染下游推理。研究者提出对比学习方案：第一轮对比训练将PubMedBERT的BIOSSES相关性从0.633提升至0.828，跨领域分离度从1.05倍提升至1.63倍；第二轮BODHI方法通过挖掘知识图谱中的硬负例，将分离度提升至2.30倍，判别差距提升至+0.392。在Intel Xeon 6737P上，OpenVINO将单查询延迟从1367毫秒降至10毫秒（133倍加速），每秒可处理555个句子。研究还发现FP16在该芯片上优于INT8，并解释了原因。
Ask a pretrained biomedical language model whether "cortisol 28 ug/dL" and "stock-market volatility" are related, and it returns a cosine similarity of 0.83 on a scale where 1.0 means identical. The two share no mechanis…