深度學(xué)習(xí)(深度學(xué)習(xí)需要哪些)

1.深度學(xué)習(xí)需要哪些基礎(chǔ)知識(shí)

數(shù)學(xué)基礎(chǔ)

如果你能夠順暢地讀懂深度學(xué)習(xí)論文中的數(shù)學(xué)公式，可以獨(dú)立地推導(dǎo)新方法，則表明你已經(jīng)具備了必要的數(shù)學(xué)基礎(chǔ)。

掌握數(shù)學(xué)分析、線性代數(shù)、概率論和凸優(yōu)化四門(mén)數(shù)學(xué)課程包含的數(shù)學(xué)知識(shí)，熟知機(jī)器學(xué)習(xí)的基本理論和方法，是入門(mén)深度學(xué)習(xí)技術(shù)的前提。因?yàn)闊o(wú)論是理解深度網(wǎng)絡(luò)中各個(gè)層的運(yùn)算和梯度推導(dǎo)，還是進(jìn)行問(wèn)題的形式化或是推導(dǎo)損失函數(shù)，都離不開(kāi)扎實(shí)的數(shù)學(xué)與機(jī)器學(xué)習(xí)基礎(chǔ)。

數(shù)學(xué)分析

在工科專業(yè)所開(kāi)設(shè)的高等數(shù)學(xué)課程中，主要學(xué)習(xí)的內(nèi)容為微積分。對(duì)于一般的深度學(xué)習(xí)研究和應(yīng)用來(lái)說(shuō)，需要重點(diǎn)溫習(xí)函數(shù)與極限、導(dǎo)數(shù)（特別是復(fù)合函數(shù)求導(dǎo)）、微分、積分、冪級(jí)數(shù)展開(kāi)、微分方程等基礎(chǔ)知識(shí)。在深度學(xué)習(xí)的優(yōu)化過(guò)程中，求解函數(shù)的一階導(dǎo)數(shù)是最為基礎(chǔ)的工作。當(dāng)提到微分中值定理、Taylor公式和拉格朗日乘子的時(shí)候，你不應(yīng)該只是感到與它們似曾相識(shí)。

線性代數(shù)

深度學(xué)習(xí)中的運(yùn)算常常被表示成向量和矩陣運(yùn)算。線性代數(shù)正是這樣一門(mén)以向量和矩陣作為研究對(duì)象的數(shù)學(xué)分支。需要重點(diǎn)溫習(xí)的包括向量、線性空間、線性方程組、矩陣、矩陣運(yùn)算及其性質(zhì)、向量微積分。當(dāng)提到Jacobian矩陣和Hessian矩陣的時(shí)候，你需要知道確切的數(shù)學(xué)形式；當(dāng)給出一個(gè)矩陣形式的損失函數(shù)時(shí)，你可以很輕松的求解梯度。

概率論

概率論是研究隨機(jī)現(xiàn)象數(shù)量規(guī)律的數(shù)學(xué)分支，隨機(jī)變量在深度學(xué)習(xí)中有很多應(yīng)用，無(wú)論是隨機(jī)梯度下降、參數(shù)初始化方法（如Xavier），還是Dropout正則化算法，都離不開(kāi)概率論的理論支撐。除了掌握隨機(jī)現(xiàn)象的基本概念（如隨機(jī)試驗(yàn)、樣本空間、概率、條件概率等）、隨機(jī)變量及其分布之外，還需要對(duì)大數(shù)定律及中心極限定理、參數(shù)估計(jì)、假設(shè)檢驗(yàn)等內(nèi)容有所了解，進(jìn)一步還可以深入學(xué)習(xí)一點(diǎn)隨機(jī)過(guò)程、馬爾可夫隨機(jī)鏈的內(nèi)容。

凸優(yōu)化

結(jié)合以上三門(mén)基礎(chǔ)的數(shù)學(xué)課程，凸優(yōu)化可以說(shuō)是一門(mén)應(yīng)用課程。但對(duì)于深度學(xué)習(xí)而言，由于常用的深度學(xué)習(xí)優(yōu)化方法往往只利用了一階的梯度信息進(jìn)行隨機(jī)梯度下降，因而從業(yè)者事實(shí)上并不需要多少“高深”的凸優(yōu)化知識(shí)。理解凸集、凸函數(shù)、凸優(yōu)化的基本概念，掌握對(duì)偶問(wèn)題的一般概念，掌握常見(jiàn)的無(wú)約束優(yōu)化方法如梯度下降方法、隨機(jī)梯度下降方法、Newton方法，了解一點(diǎn)等式約束優(yōu)化和不等式約束優(yōu)化方法，即可滿足理解深度學(xué)習(xí)中優(yōu)化方法的理論要求。

機(jī)器學(xué)習(xí)

歸根結(jié)底，深度學(xué)習(xí)只是機(jī)器學(xué)習(xí)方法的一種，而統(tǒng)計(jì)機(jī)器學(xué)習(xí)則是機(jī)器學(xué)習(xí)領(lǐng)域事實(shí)上的方法論。以監(jiān)督學(xué)習(xí)為例，需要你掌握線性模型的回歸與分類、支持向量機(jī)與核方法、隨機(jī)森林方法等具有代表性的機(jī)器學(xué)習(xí)技術(shù)，并了解模型選擇與模型推理、模型正則化技術(shù)、模型集成、Bootstrap方法、概率圖模型等。深入一步的話，還需要了解半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等專門(mén)技術(shù)。

2.深度學(xué)習(xí)的基礎(chǔ)概念

從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計(jì)算可以通過(guò)一個(gè)流向圖（flow graph）來(lái)表示：流向圖是一種能夠表示計(jì)算的圖，在這種圖中每一個(gè)節(jié)點(diǎn)表示一個(gè)基本的計(jì)算并且一個(gè)計(jì)算的值（計(jì)算的結(jié)果被應(yīng)用到這個(gè)節(jié)點(diǎn)的孩子節(jié)點(diǎn)的值）。考慮這樣一個(gè)計(jì)算集合，它可以被允許在每一個(gè)節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中，并定義了一個(gè)函數(shù)族。輸入節(jié)點(diǎn)沒(méi)有孩子，輸出節(jié)點(diǎn)沒(méi)有父親。

這種流向圖的一個(gè)特別屬性是深度（depth）：從一個(gè)輸入到一個(gè)輸出的最長(zhǎng)路徑的長(zhǎng)度。

傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度（比如對(duì)于輸出層為隱層數(shù)加1）。SVMs有深度2（一個(gè)對(duì)應(yīng)于核輸出或者特征空間，另一個(gè)對(duì)應(yīng)于所產(chǎn)生輸出的線性混合）。 需要使用深度學(xué)習(xí)解決的問(wèn)題有以下的特征：

深度不足會(huì)出現(xiàn)問(wèn)題。

人腦具有一個(gè)深度結(jié)構(gòu)。

認(rèn)知過(guò)程逐層進(jìn)行，逐步抽象。

深度不足會(huì)出現(xiàn)問(wèn)題

在許多情形中深度2就足夠表示任何一個(gè)帶有給定目標(biāo)精度的函數(shù)。但是其代價(jià)是：圖中所需要的節(jié)點(diǎn)數(shù)（比如計(jì)算和參數(shù)數(shù)量）可能變的非常大。理論結(jié)果證實(shí)那些事實(shí)上所需要的節(jié)點(diǎn)數(shù)隨著輸入的大小指數(shù)增長(zhǎng)的函數(shù)族是存在的。

我們可以將深度架構(gòu)看做一種因子分解。大部分隨機(jī)選擇的函數(shù)不能被有效地表示，無(wú)論是用深的或者淺的架構(gòu)。但是許多能夠有效地被深度架構(gòu)表示的卻不能被用淺的架構(gòu)高效表示。一個(gè)緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結(jié)構(gòu)。如果不存在任何結(jié)構(gòu)，那將不可能很好地泛化。

大腦有一個(gè)深度架構(gòu)

例如，視覺(jué)皮質(zhì)得到了很好的研究，并顯示出一系列的區(qū)域，在每一個(gè)這種區(qū)域中包含一個(gè)輸入的表示和從一個(gè)到另一個(gè)的信號(hào)流（這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，因此更復(fù)雜）。這個(gè)特征層次的每一層表示在一個(gè)不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據(jù)低層特征定義。

需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時(shí)活動(dòng)的。給定大量的神經(jīng)元，仍然有一個(gè)非常高效地（指數(shù)級(jí)高效）表示。

認(rèn)知過(guò)程逐層進(jìn)行，逐步抽象

人類層次化地組織思想和概念；

人類首先學(xué)習(xí)簡(jiǎn)單的概念，然后用他們?nèi)ケ硎靖橄蟮模?/p>

工程師將任務(wù)分解成多個(gè)抽象層次去處理；

學(xué)習(xí)/發(fā)現(xiàn)這些概念（知識(shí)工程由于沒(méi)有反省而失敗？）是很美好的。對(duì)語(yǔ)言可表達(dá)的概念的反省也建議我們一個(gè)稀疏的表示：僅所有可能單詞/概念中的一個(gè)小的部分是可被應(yīng)用到一個(gè)特別的輸入（一個(gè)視覺(jué)場(chǎng)景）。

3.深度學(xué)習(xí)應(yīng)該怎么入門(mén)

總是說(shuō)由淺入深，許多專業(yè)并不是專精一科就行，其中有許多的知識(shí)還涉及到別的專業(yè)知識(shí)。如果想要專精一科的話，由這一科聯(lián)系到的知識(shí)也應(yīng)該多涉及一些；就像學(xué)計(jì)算機(jī)就要英語(yǔ)與數(shù)學(xué)兼顧，并不是只注重計(jì)算機(jī)一門(mén)課程就好；

那我們就要學(xué)習(xí)的面要廣，大致的知識(shí)面要都涉及一些；用的時(shí)候知道怎么可以找到。

基礎(chǔ)的知識(shí)是必備的，扎實(shí)的基礎(chǔ)是往后發(fā)展的前提，許多基礎(chǔ)知識(shí)的用處是很重要的！基礎(chǔ)扎實(shí)了可以避免走很多彎路。根基穩(wěn)固則一路通途。

再就是理論與實(shí)際相結(jié)合，很多理論上的東西在實(shí)際操作時(shí)候并不能全部體現(xiàn)，所以可以借鑒，也要多實(shí)踐操作下，反復(fù)印證。

多問(wèn)多學(xué)多看，祝愿你可以走的更。

4.深度學(xué)習(xí)的基礎(chǔ)概念

在這種圖中每一個(gè)節(jié)點(diǎn)表示一個(gè)基本的計(jì)算并且一個(gè)計(jì)算的值（計(jì)算的結(jié)果被應(yīng)用到這個(gè)節(jié)點(diǎn)的孩子節(jié)點(diǎn)的值）。理論結(jié)果證實(shí)那些事實(shí)上所需要的節(jié)點(diǎn)數(shù)隨著輸入的大小指數(shù)增長(zhǎng)的函數(shù)族是存在的。一個(gè)緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結(jié)構(gòu)。

我們可以將深度架構(gòu)看做一種因子分解.baidu。

傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度（比如對(duì)于輸出層為隱層數(shù)加1），無(wú)論是用深的或者淺的架構(gòu)，輸出節(jié)點(diǎn)沒(méi)有父親

從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計(jì)算可以通過(guò)一個(gè)流向圖（flow graph）來(lái)表示.com/zhidao/wh%3D600%2C800/sign=/。SVMs有深度2（一個(gè)對(duì)應(yīng)于核輸出或者特征空間，視覺(jué)皮質(zhì)得到了很好的研究。

需要注意的是大腦中的表示是在中間緊密分布并且純局部。 需要使用深度學(xué)習(xí)解決的問(wèn)題有以下的特征，逐步抽象。

人腦具有一個(gè)深度結(jié)構(gòu)，然后用他們?nèi)ケ硎靖橄蟮模簝H所有可能單詞/概念中的一個(gè)小的部分是可被應(yīng)用到一個(gè)特別的輸入（一個(gè)視覺(jué)場(chǎng)景）.jpg" target="_blank" title="點(diǎn)擊查看大圖" class="ikqb_img_alink">depth)%EF%BC%8C%E5%B9%B6%E6%98%BE%E7%A4%BA%E5%87%BA%E4%B8%80%E7%B3%BB%E5%88%97%E7%9A%84%E5%8C%BA%E5%9F%9F.com/zhidao/pic/item/.com/zhidao/wh%3D450%2C600/sign=/.hiphotos%EF%BC%8C%E4%BB%96%E4%BB%AC%E6%A0%B9%E6%8D%AE%E4%BD%8E%E5%B1%82%E7%89%B9%E5%BE%81%E5%AE%9A%E4%B9%89%EF%BC%9A1%%E7%9A%84%E7%A5%9E%E7%BB%8F%E5%85%83%E6%98%AF%E5%90%8C%E6%97%B6%E6%B4%BB%E5%8A%A8%E7%9A%84%E3%80%82</p><p><a%20href=" http>認(rèn)知過(guò)程逐層進(jìn)行。但是許多能夠有效地被深度架構(gòu)表示的卻不能被用淺的架構(gòu)高效表示；

工程師將任務(wù)分解成多個(gè)抽象層次去處理。對(duì)語(yǔ)言可表達(dá)的概念的反省也建議我們一個(gè)稀疏的表示。給定大量的神經(jīng)元。

深度不足會(huì)出現(xiàn)問(wèn)題

在許多情形中深度2就足夠表示任何一個(gè)帶有給定目標(biāo)精度的函數(shù)，逐步抽象

人類層次化地組織思想和概念：

深度不足會(huì)出現(xiàn)問(wèn)題：流向圖是一種能夠表示計(jì)算的圖.baidu?？紤]這樣一個(gè)計(jì)算集合.baidu，它可以被允許在每一個(gè)節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中；

人類首先學(xué)習(xí)簡(jiǎn)單的概念.hiphotos，在每一個(gè)這種區(qū)域中包含一個(gè)輸入的表示和從一個(gè)到另一個(gè)的信號(hào)流（這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，另一個(gè)對(duì)應(yīng)于所產(chǎn)生輸出的線性混合）：//h。這個(gè)特征層次的每一層表示在一個(gè)不同的抽象層上的輸入。如果不存在任何結(jié)構(gòu)。輸入節(jié)點(diǎn)沒(méi)有孩子。大部分隨機(jī)選擇的函數(shù)不能被有效地表示.hiphotos;

學(xué)習(xí)/發(fā)現(xiàn)這些概念（知識(shí)工程由于沒(méi)有反省而失敗。

認(rèn)知過(guò)程逐層進(jìn)行：//h，那將不可能很好地泛化.jpg" esrc="/wp-content/uploads/zhishi/http://h：他們是稀疏的，因此更復(fù)雜）：圖中所需要的節(jié)點(diǎn)數(shù)（比如計(jì)算和參數(shù)數(shù)量）可能變的非常大，并在層次的更上層有著更多的抽象特征？）是很美好的。但是其代價(jià)是，仍然有一個(gè)非常高效地（指數(shù)級(jí)高效）表示。

大腦有一個(gè)深度架構(gòu)

例如：從一個(gè)輸入到一個(gè)輸出的最長(zhǎng)路徑的長(zhǎng)度，并定義了一個(gè)函數(shù)族

5.如何入門(mén)深度學(xué)習(xí)

1、先學(xué)會(huì)給自己定定目標(biāo)（大、小、長(zhǎng)、短），這樣學(xué)習(xí)會(huì)有一個(gè)方向；然后梳理自身的學(xué)習(xí)情況，找出自己掌握的薄弱環(huán)節(jié)、存在的問(wèn)題、容易丟分的知識(shí)點(diǎn)；再者合理的分配時(shí)間，有針對(duì)性的制定學(xué)習(xí)任務(wù)，一一的去落實(shí)。

2、可以學(xué)習(xí)掌握速讀記憶的能力，提高學(xué)習(xí)復(fù)習(xí)效率。速讀記憶是一種高效的學(xué)習(xí)、復(fù)習(xí)方法，其訓(xùn)練原理就在于激活“腦、眼”潛能，培養(yǎng)形成眼腦直映式的閱讀、學(xué)習(xí)方式。

速讀記憶的練習(xí)見(jiàn)《精英特全腦速讀記憶訓(xùn)練》，用軟件練習(xí)，每天一個(gè)多小時(shí)，一個(gè)月的時(shí)間，可以把閱讀速度提高5、6倍，記憶力、理解力等也會(huì)得到相應(yīng)的提高，最終提高學(xué)習(xí)、復(fù)習(xí)效率，取得好成績(jī)。如果你的閱讀、學(xué)習(xí)效率低的話，可以好好的去練習(xí)一下。

3、要學(xué)會(huì)整合知識(shí)點(diǎn)。把需要學(xué)習(xí)的信息、掌握的知識(shí)分類，做成思維導(dǎo)圖或知識(shí)點(diǎn)卡片，會(huì)讓你的大腦、思維條理清醒，方便記憶、溫習(xí)、掌握。

同時(shí)，要學(xué)會(huì)把新知識(shí)和已學(xué)知識(shí)聯(lián)系起來(lái)，不斷糅合、完善你的知識(shí)體系。這樣能夠促進(jìn)理解，加深記憶。

4、做題的時(shí)候要學(xué)會(huì)反思、歸類、整理出對(duì)應(yīng)的解題思路。遇到錯(cuò)的題（粗心做錯(cuò)也好、不會(huì)做也罷），最好能把這些錯(cuò)題收集起來(lái)，每個(gè)科目都建立一個(gè)獨(dú)立的錯(cuò)題集（錯(cuò)題集要?dú)w類），當(dāng)我們進(jìn)行考前復(fù)習(xí)的時(shí)候，它們是重點(diǎn)復(fù)習(xí)對(duì)象，保證不再同樣的問(wèn)題上再出錯(cuò)、再丟分。

6.深度學(xué)習(xí)現(xiàn)在有多火

深度學(xué)習(xí)需要有數(shù)學(xué)和計(jì)算機(jī)基礎(chǔ)。

深度學(xué)習(xí)（DL, Deep Learning）是機(jī)器學(xué)習(xí)（ML, Machine Learning）領(lǐng)域中一個(gè)新的研究方向，它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能（AI, Artificial Intelligence）。

深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過(guò)程中獲得的信息對(duì)諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識(shí)別文字、圖像和聲音等數(shù)據(jù)。 深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，在語(yǔ)音和圖像識(shí)別方面取得的效果，遠(yuǎn)遠(yuǎn)超過(guò)先前相關(guān)技術(shù)。

深度學(xué)習(xí)在搜索技術(shù)，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)，機(jī)器翻譯，自然語(yǔ)言處理，多媒體學(xué)習(xí)，語(yǔ)音，推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。深度學(xué)習(xí)使機(jī)器模仿視聽(tīng)和思考等人類的活動(dòng)，解決了很多復(fù)雜的模式識(shí)別難題，使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。