大模型基礎Transformer結構的原理解析

該研究的結果適用于一般數據集，可以擴展到交叉注意力層，并且研究結論的實際有效性已經通過徹底的數值實驗得到了驗證。該研究建立一種新的研究視角，將多層 tr...

2023-09-07 標簽：AI向量機Transformer 1509 0

transformer原理解析

這些embedding可以使用谷歌Word2vec (單詞的矢量表示) 找到。在我們的數值示例中，我們將假設每個單詞的embedding向量填充有 (0...

2023-09-06 標簽：函數Transformer 1440 0

BEV感知中的Transformer算法介紹

將BEV下的每個grid作為query，在高度上采樣N個點，投影到圖像中sample到對應像素的特征，且利用了空間和時間的信息。并且最終得到的是BEV ...

2023-09-04 標簽：算法感知Transformer 1762 0

DETR架構的內部工作方式分析

這是一個Facebook的目標檢測Transformer (DETR)的完整指南。 ? 介紹 DEtection TRansformer (DETR)是...

2023-08-30 標簽：Facebook代碼檢測模型 1331 0

基于Transformer的目標檢測算法難點

理解Transformer背后的理論基礎，比如自注意力機制（self-attention）, 位置編碼（positional embedding），目標...

2023-08-24 標簽：自動駕駛Transformer自然語言處理 484 0

風口浪尖行穩致遠 - 英偉達等企業如何順應高性能計算大模型浪潮

關鍵詞:PLM;NLP;Transformer;ChatGPT;BERT;RNN;CNN;自注意力機制;多頭注意力機制;?Decoder Only ;E...

2023-08-23 標簽：神經網絡AI英偉達 2748 0

掌握基于Transformer的目標檢測算法的3個難點

Transformer來源于自然語言處理領域，首先被應用于機器翻譯。后來，大家發現它在計算機視覺領域效果也很不錯，而且在各大排行榜上碾壓CNN網絡。

2023-08-22 標簽：機器翻譯Transformer自然語言處理 916 0

基于Transformer多模態先導性工作

多模態（Multimodality）是指在信息處理、傳遞和表達中涉及多種不同的感知模態或信息來源。這些感知模態可以包括語言、視覺、聽覺、觸覺等，它們共同...

2023-08-21 標簽：數據人工智能Transformer 1157 0

汽車領域擁抱Transformer需要多少AI算力？

Transformer在汽車領域應用自然是針對視覺的，ChatGPT3這種至少需要八張英偉達A100顯卡的大模型是絕對無法出現在汽車上的。

2023-08-17 標簽：處理器FSDTransformer 1138 0

基于Transformer的目標檢測算法

掌握基于Transformer的目標檢測算法的思路和創新點，一些Transformer論文涉及的新概念比較多，話術沒有那么通俗易懂，讀完論文仍然不理解算...

2023-08-16 標簽：感知算法自動駕駛cnn 831 0

如何學習基于Tansformer的目標檢測算法呢？

說到純視覺的自動駕駛方案，大家第一個想到的就是Tesla吧。的確，早在2021年，Tesla就已經實現了純視覺的BEV檢測方案，而且效果非常好。

2023-08-07 標簽：計算機視覺自動駕駛Transformer 1067 0

RetNet架構和Transformer架構對比分析

微軟研究院最近提出了一個新的 LLM 自回歸基礎架構 Retentive Networks （RetNet）[1,4]，該架構相對于 Transform...

2023-07-26 標簽：Transformer位置編碼器RetNet 1529 0

語音應用中Transformer和循環神經網絡的比較

在Transformer中，注意力圖的某些頭部并不總是像Tacotron 2中那樣是對角線的。因此，我們需要選擇在哪些位置應用引導性注意力損失[24]。...

2023-07-24 標簽：變壓器神經網絡語音識別 1214 0

AI技術：一種聯合迭代匹配和姿態估計框架

由于噪聲和退化，并非所有正確匹配都能給出良好的姿態。之前的操作僅保證具有判別性高的描述子的特征點有更高的匹配分數，并且首先被識別以參與姿態估計，但忽略了...

2023-07-18 標簽：AITransformer姿態估計 718 0

基于Transformer的目標檢測算法的3個難點

理解Transformer背后的理論基礎，比如自注意力機制（self-attention）, 位置編碼（positional embedding），目標...

2023-07-18 標簽：算法Transformer 881 0

基于魯棒神經架構的設計

導讀 繼卷積神經網絡之后，Transformer又推進了圖像識別的發展，成為視覺領域的又一主導。最近有人提出Transformer的這種優越性應歸功于S...

2023-07-17 標簽：神經網絡模型Transformer 686 0

超強Trick，一個比Transformer更強的CNN Backbone

深度學習在計算機視覺中的成功很大程度上是由卷積神經網絡（CNNs）推動的。從AlexNet這一里程碑式的工作開始，CNNs不斷地向計算機視覺的前沿邁進。...

2023-07-17 標簽：神經網絡計算機視覺Transformer 1305 0

視覺Transformer對加速器架構的作用及挑戰

在自然語言中，一個句子中一個詞的意義并不僅僅由該句子中相鄰的詞來決定;距離較遠的單詞可能會對結果產生重要影響。應用多個連續的局部注意力最終可以獲得遠距離...

2023-07-17 標簽：加速器神經網絡人工智能 564 0

transformer模型詳解：Transformer 模型的壓縮方法

?動機&背景 Transformer 模型在各種自然語言任務中取得了顯著的成果，但內存和計算資源的瓶頸阻礙了其實用化部署。低秩近似和結構化剪枝是緩解這一...

2023-07-17 標簽：模型神經元Transformer 2765 0

如何計算transformer模型的參數量

1. 前言 最近，OpenAI推出的ChatGPT展現出了卓越的性能，引發了大規模語言模型(Large Language Model,LLM)的研究熱潮...

2023-07-10 標簽：模型TransformerChatGPT 1.4萬 0