百万个冷知识百万个冷知识

百万个冷知识
一起学习百万个冷知识

硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型(facebook开发者平台)

Facebook 开放源码考验 GPT-3 的词汇数学模型

OpenAI 的文档聚合数学模型 GPT-3 是目前最一流的词汇数学模型之一,采用了 1750 万个模块,但它迄今没开放源码,只透过其提出申请及审查流程提供给学界和商业虚拟采用。那时 Meta 开放源码了能考验 GPT-3 的词汇数学模型封闭式预体能训练转换数学模型 OPT-175B,采用了能相媲美 GPT-3 的 1750 万个模块。译者们在学术论文中说,“考虑到随了,如果没大量资金,这些数学模型极难拷贝。对极少数透过 API 可初始化的数学模型(暗讽 GPT-3),假如无法获得完备的数学模型权重股,就难以进行科学研究。……因此,我们推出了 OPT(这是一个多于记忆卡的预体能训练转换数学模型)……”

内部消息:ieee

老张评测:在整件事上,Meta 真的很酷,多于开放源码才能真正推动 AI 的发展。

RTX 30 新汉兰达显示卡矿机管制遭补齐

今年,为了遏止格斗游戏显示卡被用作矿机,英伟达管制了新上市 RTX 30 系列产品显示卡的INS13ZD水平,这批显示卡被称作 LHR(低基元率)显示卡。本周,NiceHash 宣布,继今年 8 月成功弹出 LHR 显示卡 70% 的原初INS13ZD后,那时几乎 RTX 30 新汉兰达 LHR 显示卡已经被 100% 补齐。多于 RTX 3050 和RTX 3080 12GB,所需要的新演算法还没竣工。

内部消息:nicehash

老张评测:即便,显示卡还是被用作矿机了。

Google已经开始为 Linux 科学研究身份验证休眠全力支持

Google技师已经开始科学研究安全可靠地“在一些捷伊情景中投入使用休眠状态”。除了采取防范措施,保证蓄意的使用者空间无法利用休眠状态数据,Google安全可靠项目组也在强制性要求身份验证休眠状态。Google那时已经开始科学研究如前所述Mach的身份验证,全力支持采用 TPM 全力支持的公钥来身份验证休眠状态快照,用 PCR 策略来密闭身份验证公钥,以及其他工作来保证身份验证的休眠状态快照可以被信赖。

内部消息:phoronix

老张评测:这个倒是一直以来的一个维米县,虽然对伺服器象征意义并不大,但对图形界面设备有象征意义。

未经允许不得转载:百万个冷知识 » 硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型(facebook开发者平台)
分享到: 更多 (0)

百万个冷知识 带给你想要内容

联系我们