首页 > 教育 > 问答 > 教育知识 > 矩阵乘法无需相乘,什么是矩阵向量化

矩阵乘法无需相乘,什么是矩阵向量化

来源:整理 时间:2022-04-09 00:09:14 编辑:教育知识 手机版
人工智能,为什么要先学数学?

学人工智能,为什么要先学数学

这是一个非常好的问题,作为一名科技从业者,我来回答一下。首先,人工智能是一个非常典型的交叉学科,不仅涉及到数学,同时还涉及到计算机、控制学、经济学、哲学、神经学、语言学等多个学科,所以人工智能技术不仅难度较高,知识量也非常庞大,这也是为什么长期以来,人工智能人才的培养都集中在研究生教育领域的重要原因。

人工智能当前有六个大的研究领域,包括自然语言处理、计算机视觉、机器学习、知识表示、自动推理和机器人学,这些研究方向都离不开数学知识,所以要想在人工智能的研发领域走得更远,一定要有一个扎实的数学基础。以机器学习为例,机器学习的步骤包括数据收集、算法设计、算法实现、算法训练、算法验证和算法应用,所以机器学习的基础是数据,而核心则是算法,所以也可以把机器学习问题看成是一个数学问题。

机器学习在人工智能领域的应用非常广泛,所以很多初学者在进入人工智能领域之前,都会先从机器学习开始学起,而要想顺利入门机器学习的相关知识,数学基础是非常关键的。虽然人工智能对于数学的要求比较高,但是即使数学基础不好,也可以在学习人工智能技术的过程中,逐渐补齐自己的数学短板,在学习人工智能技术的初期,也并不会遇到非常复杂的数学问题,只需要具有一些线性代数、概率论的基础知识就可以了。

最后,人工智能技术的学习对于场景有比较高的要求,所以学习人工智能技术并不建议完全通过自学的方式来掌握,最好能够借助研发团队的实验和交流环境,来不断提升自身的研发能力。我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

为什么人工智能tensorflow运算是以矩阵运算作为基础的?

矩阵的本质和意义是什么

tensorflow作为深度学习框架,背后的理论以矩阵运算为基础矩阵运算,能极大加速计算过程,如果不用矩阵运算,模型训练时间太长理论基础和对速度的要求,使得以矩阵运算成为必然。深度学习的理论基础以矩阵为基础tensorflow是Google开发的深度学习框架,而深度学习,作为一种数学模型,是以数学为基础的,具体来讲是以线性代数和概率论为基础。

而矩阵和张量 (Tensor, 对,就是Tensorflow中的Tensor)是线性代数的基本数学概念。优化算法中的最速下降法离不开对矩阵求导深度学习绝大多数都是监督学习,或者想办法转为监督学习,比如猫狗分类、销量预测等等。深度学习作为机器学习的一种,优化算法本质上是梯度下降法,对应数学的最速下降法。

看看回归中的求导算法:背后求导都是基于矩阵的,会涉及矩阵的求逆、惩罚运算等。深度学习中的基本模块离不开矩阵运算以近两年自然语言处理中火热的BERT模型为例,里面的模型架构都已 Transformer为基础,看看这个模型的内部结构:里面的线性层(Linear)本质上就是两个矩阵的相乘, 注意力机制模型 (Attention)见下面两幅图,明显也是矩阵相乘(MatMul)紧密相关。

矩阵(张量)运算可以加速训练计算机硬件本质上是对应的都是电路,背后都是数字的加减乘除基本运算,最底层是信号的与或非等基本电路。理论上而言,也不可以用矩阵,直接用标量写个多重For循环计算,但是这样速度太慢。而利用向量化能明显加速计算过程,python中常用numpy背后都是以向量化为基础的矩阵运算。再进一步到英伟达的GPU或者Google的TPU, 用专门的芯片来专门做矩阵运算。

文章TAG:矩阵相乘乘法量化矩阵乘法无需相乘什么是矩阵向量化

最近更新