transformernlp,TransformerNLP发展

深度学习的两大预训练模型都有哪些?

无人驾驶汽车：深度学习在无人驾驶领域主要用于图像处理，可以用于感知周围环境、识别可行驶区域检测、以及识别行驶路径识别。图片识别及分类：识别出图片中的对象，并建立关键词，对图片进行分类。

自回归语言模型有优点有缺点，缺点是只能利用上文或者下文的信息，不能同时利用上文和下文的信息，当然，貌似ELMO这种双向都做，然后拼接看上去能够解决这个问题，因为融合模式过于简单，所以效果其实并不是太好。

截止BERT之前的预训练语言模型都是单向的（unidirectional），包括GPT和ELMo，这样的方法对句子层级的任务不是最优的，而且对于token层级的任务比如问答非常有害。

GTP（Generative Pre-trained Transformer）是一种基于Transformer模型的生成式预训练模型。Transformer模型是一种用于自然语言处理任务的深度学习模型，它在机器翻译任务中取得了很大的成功。

bert是双向语言模型，句子没有shift_mask操作，所以是完整的上下文环境，证实了双向语言模型对文本特征表示的重要性。bert同时证实了预训练模型能够简化很多繁重任务的网络结构，在11个nlp任务上都有显著提升。

GPT模型是一种基于深度学习的自然语言处理技术，它通过大规模的文本数据预训练，学习到了丰富的语言知识。这种模型的主要特点是生成式，即它可以生成连贯、有逻辑的文本，而不仅仅是对输入进行简单的分类或预测。

Transformer为什么适合自动驾驶?毫末智行CEO顾维灏亲自揭秘

基于 Transformer 的感知算法表现出了极强的泛化性和鲁棒性，也因此顾维灏坚定认为，Transformer 的优秀特性极有可能在智能驾驶的场景中发挥出传统 CNN 算法所不能企及的感知能力。

在成本＆速度方面，毫末智行CEO顾维灏提到，标注与验证是自动驾驶最高的两大成本来源，而通过自动标注技术的应用，MANA的标注成本将比采用人工标注为主的方式降低80%；此外同样借助与阿里的合作，MANA也成功将验证成本下降了62%。

观察道路理解正在发生的一切，推演并选择合适路线前行，是所有驾驶者习以为常的事情，也是重感知、轻地图技术方向下，自动驾驶必须达成的目标。而这，恰好也是生成式预训练 Transformer 模型（GPT）的长项。

Transformer解读(附pytorch代码)

在Transformer出现之前，RNN系列网络以及seq2seq+attention架构基本上铸就了所有NLP任务的铁桶江山。

详解Transformer （论文Attention Is All You Need）. 正如论文的题目所说的，Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。

对于希望自己尝试一些 3D 深度学习的 PyTorch 用户，Kaolin 库值得研究。对于 TensorFlow 用户，还有TensorFlow Graphics。一个特别热门的子领域是 3D 模型的生成。

PyTorch是一个非常流行的深度学习框架。但是与其他框架不同的是，PyTorch具有动态执行图，意味着计算图是动态创建的。

本文首次将Swim-transformer引入图像去雨领域，研究了Swim-transformer在图像去雨领域的性能和潜力。具体来说，我们对Swim-transformer的基本模块进行了改进，设计了一个三分支模型来实现单幅图像的去雨。

pipinstallpytorch-pretrained-bert 训练模型 接下来，我们需要训练一个神经网络模型，让它学会生成诗歌。这里我使用的是一个名为“GPT-2”的模型，它是由OpenAI开发的一种基于Transformer结构的语言模型。

NLP预训练语言模型(三):逐步解析Transformer结构

1、Transformer是近两三年非常火的一种适用于NLP领域的一种模型，本质上是Encoder-Decoder结构，所以多应用在机器翻译（输入一个句子输出一个句子）、语音识别（输入语音输出文字）、问答系统等领域。

2、attention： 输入和输出进行比较，不同的输出对不同输入的关注不同。假设输出 更关注输入 ， 更关注 ，那么在句子翻译中，语言 翻译成 ，那么很可能认为单词 翻译成 ， 翻译成 。能够使模型捕捉有用信息。

3、整个Transformer模型由Encoder和Decoder两部分组成。Encoder负责对输入数据的编码，而Decoder负责对编码后的数据进行解码。

4、Bert的模型结构更简单，主要用于上下文语义理解任务，如文本分类、文本相似度计算等。Transformer可以应用于更复杂的任务，如机器翻译、摘要生成等需要生成语言序列的任务。