10,000 ~0.005 (0.5%) 2位数字 1,000,000 ~0.0005 (0.05%) 3–4位数字 1,000,000,000 ~0.000016 (0.0016%) 5位数字
该模型通过一万亿次迭代恢复FP32精度。
这相当于第一级或每个元素10,000步。
FP32 T5 & FP32 CLIP
备注:如果IBM愿意捐赠超级计算机来完成达到第三级所需的 quintillion(10^18)次迭代,这将是一次绝佳的实验。
为说明计算能耗:本模型耗电2千瓦;下一步将需要2兆瓦,再下一步约为2吉瓦。