2019年度文章总结

2019年写了很多博文或者学习笔记，此文章记录一些比较重要的博文，以供未来查阅。

博文

• 论文笔记
• 数据结构与算法学习
• 参加的会议
• 学习路线
  1. 【2019-04-12】对神经网络整体的理解

     通常学习深度学习从一个最简单的神经网络开始，但是由于是零基础学深度学习，所以需要同时学习大量算法以及其原理，比如梯度下降，Momentum，Adam，RMSprop，adagrad等等算法。所以写了一篇文章记录一下大部分的算法以及原理。

  2. 《神经网络与深度学习》学习笔记：反向传播算法中weight的表示问题

     由于神经网络中参数太多，而有些参数的表现形式太过复杂， 比如文中权重 \(w^l_{ji}\) 有太多上标下标，所以写了一篇文章记录一下。

  3. 梯度下降算法的推导

     学会了最基本的神经网络之后，开始理解反向传播算法。之前仅仅是在使用，现在想要理解它到底在干什么。所以自己推导了一遍。发现其实就是链式求导。

  4. 吴恩达李宏毅综合学习笔记：RNN入门

     学习完神经网络之后，可以学习其他的神经网络模型。由于本人初步决定学习 nlp，所以基本没有看 CNN，直接学了 RNN。本文就是学习 RNN 的记录，包括了许多算法以及技术。 one hot representation, RNN(双向、深层), GRU, LSTM, RNN反向传播, seq2seq, 计算图, language model, Pointer Network

  5. 深度学习：
     1. 深度学习算法（一）：simple NN（前馈神经网络的正反向推导）：手磕梯度下降算法
     2. 深度学习算法（二）：simple RNN 推导与理解
     3. 深度学习算法（三）：RNN 各种机制
     4. 深度学习算法（四）：Transformer
  6. 吴恩达深度学习学习笔记：自然语言处理与词嵌入

     学习完RNN之后，就可以学习 NLP 的概念了，这里面讲得虽然还是神经网络，但是其实都是 NLP 领域的知识。

  7. nlp：
     • 【NLP算法】（零）NLP基础算法
     • 【NLP算法】（一）word2vec
     • 【NLP算法】（三）条件随机场CRF
     • 【知识图谱】（一）从概念开始
  8. 此篇文章已删除，转到《深度学习500问》笔记中。

     深度学习入门后必然有很多疑问待解答，此篇解决疑问。

  9. CS224n学习笔记
  10. 【读书笔记】：《自然语言处理综论》（第二版）
  11. 【 2019-11-05】多领域的语义解析实验
      虽说此篇文章是我做实验的笔记，但是由于是我第一次做实验。所以我在其中记录了大量的笔记/炼丹技巧/原理分析、遇到的问题/bug。

      本文已被分割成众多知识点。

• 学习笔记
  • git学习记录
  • Python爬虫学习记录（一）：正则表达式
  • 特征工程：笔记
• 机器学习
  • 代价函数
  • 机器学习算法（一）：线性回归
  • 机器学习算法（二）：逻辑回归
  • 机器学习算法（三）：决策树
  • 机器学习算法（四）：K均值（K-means）
  • 机器学习算法（五）：PCA
  • 机器学习算法（六）：SVM
  • 机器学习算法（七）：K-NN
  • 机器学习算法（八）：Adaboost
  • 【机器学习算法】半监督学习
  • 机器学习的下一步

学习视频的笔记

• 吴恩达李宏毅综合学习笔记：RNN入门

  当时在学深度学习的时候，看了两个人的视频，本来是分开记录笔记的。但是由于相似度比较高，所以将二者合并了。另外由于吴恩达机器学习的课程是大四寒假的时候看的，是用纸质笔记本记录的，所以机器学习的笔记没有在博客中。

• 吴恩达深度学习学习笔记：自然语言处理与词嵌入

  这是吴恩达深度学习的课程，里面涉及到了诸多知识点，但是在此之前我其实已经看过此类的视频了。所以这里只记录了有关 NLP 的知识点。

• CS224n学习笔记

  斯坦福大学 NLp 的课程，大部分都是了解过的。有部分专属于 NLP 领域的知识点还未有所了解。