高溫最后O2和O1一起得到Attention結(jié)果。動(dòng)機(jī)為了解決這個(gè)問(wèn)題，橙色研究者們也提出了很多近似的attention算法，然而目前使用最多的還是標(biāo)準(zhǔn)attention。FlashAttentionFlashAttention應(yīng)用了tiling技術(shù)來(lái)減少內(nèi)存訪問(wèn)，山東具體來(lái)說(shuō)：山東1.從HBM中加載輸入數(shù)據(jù)（K，Q，V）的一部分到SRAM中2.計(jì)算這部分?jǐn)?shù)據(jù)的Attention結(jié)果3.更新輸出到HBM，但是無(wú)需存儲(chǔ)中間數(shù)據(jù)S和P下圖展示了一個(gè)示例：首先將K和V分成兩部分（K1和K2，V1和V2，具體如何劃分根據(jù)數(shù)據(jù)大小和GPU特性調(diào)整），根據(jù)K1和Q可以計(jì)算得到S1和A1，然后結(jié)合V1得到O1。

繼續(xù)大多數(shù)現(xiàn)代GPU包含專(zhuān)用的低精度矩陣乘法單元（如NvidiaGPU的TensorCore用于FP16/BF16矩陣乘法）。為了確保高吞吐量（例如超過(guò)最大理論TFLOPs/s的50％），發(fā)布我們希望盡可能將時(shí)間花在matmulFLOPs上。

GPU執(zhí)行模型小結(jié)：高溫GPU有大量的threads用于執(zhí)行操作（anoperation，也稱(chēng)為akernel）。

通過(guò)觀察分析，橙色這種低效是由于GPU對(duì)不同threadblocks和warps工作分配不是最優(yōu)的，造成了利用率低和不必要的共享內(nèi)存讀寫(xiě)。[詳情]第九名：山東金牛座相斥相吸58配對(duì)比重42配對(duì)指數(shù)：山東50%兩情相悅：60%天長(zhǎng)地久：40%友情：40%愛(ài)情：60%婚姻：40%親情：40%水瓶男vs金牛女：水瓶座人和金牛座人，性格和觀念截然相反，水瓶座人永遠(yuǎn)都在追求著新的事物，跟著時(shí)代的腳步，是潮流的追隨者，標(biāo)新立異者。

繼續(xù)你們是思維模式和生活態(tài)度迥然不同。發(fā)布她們希望從友情發(fā)展成為愛(ài)情。

大概她們?yōu)槿颂幨乐挥幸粋€(gè)原則，高溫那就是看心情。水瓶座女生好奇心強(qiáng)，橙色常常把強(qiáng)烈的愿望和獨(dú)立精神融合在一起。