The Dance of Disorder (Fluctuations of Entropy)

Attention Mechanism可以對模型的輸入的每個部分(區域)，賦予不同的權重，以抽取出局部關鍵的資訊，使模型做出更精準確的判斷。Attention in deep learning localizes information in making predictions.
Attention Mechanism與人類對外界事物的觀察機制很類似，當人類觀察外界事物的時候，一般不會把事物當成一個整體去看，往往傾向於根據需要選擇性的去獲取被觀察事物的某些重要部分，比如我們看到一個人時，往往先Attention到這個人的臉，然後再把不同區域的資訊組合起來，形成一個對被觀察事物的整體印象。
Attention Mechanism用於提升RNN（LSTM或GRU）的Encoder + Decoder模型的效果的的機制（Mechanism）。Attention Mechanism廣泛應用於機器翻譯、語音識別、影象標註（Image Caption）等很多領域。Attention的成功，是在於賦予了模型區分辨別的能力。

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

在以圖形方式指示系統，過程或現象的幾種近似表示中的哪一種最真實。該圖由Karl E. Taylor於1994年發明，有助於對不同模型進行比較評估。它用於根據三個統計量，皮爾森相關係數(R)，均方根誤差(RMSE)誤差和標準差，來量化建模與觀察行為之間的對應程度。

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

e的含義是單位時間內「增長的極限」；或說是。(e is the base rate of growth shared by all continually growing processes.)
e是個常數，是個無理數(無限不循環小數)，e定義有下面三種:
1. 定義下面數列的極限值為 e:

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

Jason 發表在 痞客邦 留言(0) 人氣()

P問題(polynomial problems集合)是：在多項式時間內可以找出解的決策性問題(decision problem)的集合。
NP(未定多項式)問題(non-deterministic polynomial)：尚未找到多項式時間內的演算解法，但(若提供解，則)可以在多項式時間內驗證其解正確性的問題。因為仍未知這NP問題是否存在多項式時間內的演算法，故稱non-deterministic(未定)。
NP-complete問題是：屬於NP，而且是NP問題裡面最難解決的問題。
難到什麼程度？困難到只要其中某個問題可以在P時間內解決，那麼所有的NP問題就都可以在P時間內解決了。既然所有的NP問題都能歸約成NPC問題，那麼只要任意一個NPC問題找到了一個多項式的演算法，那麼所有的NP問題都能用這個演算法解決了，NP也就等於P 了。因此，給NPC找一個多項式演算法太不可思議了。【正是NPC問題的存在，使人們相信P≠NP】。我們可以就此直觀地理解，NPC問題目前沒有多項式的有效演算法，只能用指數級甚至階乘級複雜度的搜尋。
滿足以下兩個條件的，我們都稱之為NP-Complete
(一)「問題」是一個NP問題
(二)所有的NP問題都可以(用DTM)在polynomial time內規約成為這個「問題」。

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

Academically, the terms are straightforward and reflect what they mean in real English:

• Detection - The ability to detect if there is some 'thing' vs nothing.


• Recognition - The ability to recognize what type of thing it is (person, animal, car, etc.)


• Identification - The ability to identify a specific individual from other people

Obviously, each level is harder and requires more detail, going from detection to recognition to identification.

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

RNN 的基本原理
RNN makes prediction based on the hidden state in the previous timestep and current input. 
ht=f(xt,ht−1)

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

卷積神經網路（Convolutional Neural Networks），CNN 也被稱為 CNNs 或 ConvNets，它是目前深度神經網路（deep neural network）領域的發展主力。CNN 在影像辨識中甚至可以超越人類辨識的精準度。
CNN是一個很直觀的演算法，CNN的概念跟人類以眼睛去辨識有模擬相似之處。先用CNN的始祖Model：LeNet ，以LeNet來介紹CNN的運作。以下是LeNet的模型架構 ( 源自Yann LeCun 1998年論文 )

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

Jason 發表在 痞客邦 留言(0) 人氣()

【簡單說】 
Average Precision(AP)是：整組答案正確結果要優先出現的衡量指標，即：正確答案出現位置(多快多早)的整體衡量。
Reciprocal Rank  (RR)是：第一個正確答案出現序位衡量指標，取之倒數。即：第一個正確答案多快(多早)出現？出現越早RR越高分。
M(Mean)則是取多次查詢之的均值(mean)來做為度量代表。
【例】當Google顯示10個關鍵字查詢的結果時，如果10個結果都是相關(正確)的答案，無疑這是最優良的結果。但若只有部分(通常是如此)的查詢結果是正確的，那麼好的系統應該優先顯示正確的答案，將較不相關的答案置於末端。
AP值正是反映【整組答案正確結果要優先出現】這種概念的具體衡量指標。定義AP@k：根據前k個查詢結果，其所出現的次序算出具體的衡量指標。

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

Q: What if SVR encounters Multi-collinearity  ?
1>We all know that if multi-colinearity exists, explanatory variables have a high degree of correlation between themselves which is problematic in all regression models.

2>Multicolinearity is not generally a problem for SVMs/SVRs.

3>Ridge Regression is a neat way to ensure you don't overfit your training data - essentially, you are desensitizing your model to the training data.
However, the variance of this new estimate can be so much lower than that of the least-squares estimator.

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()

 

Precision is to measure the quality of our predictions only based on what predictor claims to be positive regardless of all it might miss. Precision is computed from: all we predicted correctly divided by all we predicted, correctly or wrongly.正確被檢索的結果(TP)占所有"實際被檢索到的(TP+FP)結果"的比例。

(繼續閱讀...)

Jason 發表在 痞客邦 留言(0) 人氣()