欢迎来到我们的NLP 入门基础课程，这里你将学习到：

• Python 编程：掌握人工智能领域最常用的编程语言。
• 编程工具：熟悉 PyCharm、Jupyter Notebook、Git & Github 等工具，提升开发效率。
• 数据处理与分析：通过 NumPy 和 Pandas 进行数据预处理和分析。
• 机器学习：理解监督学习算法，评估方法，以及 scikit-learn 的应用。
• 深度学习：学习 Pytorch，掌握神经网络的关键原理和模型。
• 自然语言处理：探索 NLP 原理和 Hugging Face-transformers 库的使用。

课程结束后，你将具备构建智能应用的坚实基础。让我们一起开启这段学习之旅！

了解NLP：NLP是自然语言处理（Natural Language Processing）的缩写，它是人工智能和语言学领域的一个分支，主要关注计算机和人类（自然）语言之间的相互作用。NLP技术的目标是使计算机能够理解和解释人类语言的内容和意图，以实现如自动翻译、情感分析、语音识别、文本摘要、问答系统等多种应用。

Python 编程

Python 编程

Python 是人工智能领域最常用的语言。请熟悉 Python 语法，能够使用 Python 编程。

如果你之前有过 Python 编程经验，我们建议你跳过以下教程，仅在后续编程中遇到问题时，参考Python 官方文档，或求助Google, Stack Overflow, CSDN等。

如果你之前从未接触过编程

我们推荐你参考：

• 阿里云针对人工智能初学者的Python教程
• Analytics Vidhya 针对数据科学的Python教程
• 廖雪峰Python（截止至“模块”之前）

编程相关工具

以下是我们在后续教学过程、项目实操过程中可能用到的编程工具。请进行安装并学会使用。

Python 编程环境

我们推荐你使用 PyCharm，请在这里安装并参考官方使用文档。

集合文本和代码的可视化工具

Jupyter Notebook

请参考英文安装和使用教程或中文教程。

代码版本控制和托管平台

Git & Github

请参考官方指南。

数据处理和分析基础

Python 库 NumPy 和 Pandas 是进行数据预处理和分析的常用工具，请熟悉它们的使用方法。

如果你从未接触过 NumPy 和 Pandas

我们推荐你参考：

• 阿里云的Numpy教程
• 阿里云的Pandas教程

如果你之前有过 NumPy, Pandas 使用经验

我们建议你跳过以下课程，仅在后续编程中遇到问题时，参考Numpy 官方文档，Pandas官方文档，或者Python/Numpy/Pandas Cheat Sheet。

机器学习基础

本部分包含了机器学习基础部分的知识。请理解机器学习的流程，掌握机器学习常见的监督算法（分类、回归），以及评估方法。请特别关注机器学习基础中的以下内容：

• 代价函数和梯度下降 (Cost Function and Gradient Descent)
• 过拟合和欠拟合 (Overfitting and Underfitting)
• 监督学习 (Supervised Learning)

如果你从未接触过机器学习

你可以选择系统的过一遍吴恩达的经典机器学习课程以及中文笔记。

如果你曾经接触过机器学习

请参考以下链接以便回顾重要的知识点：

• Must-Know Machine Learning Algorithms
• 机器学习目录

深度学习基础

本部分包含了机器学习进阶部分——深度学习的基础知识。请熟悉深度学习库Pytorch的使用，并理解深度学习的重点原理和模型。请特别关注深度学习基础中的以下重点内容：

• 前馈神经网络 (Feedforward Neural Networks)
• 卷积神经网络 (Convolutional Neural Networks)
• 循环神经网络 (Recurrent Neural Networks)
• Transformer (Encoder, Decoder, Attention)
• 正则化 (Regularization)
• 优化算法 (Optimizers)

如果你从未使用过Pytorch

请参考以下教程：

• Pytorch官方练习项目
• 阿里云的Pytorch教程
• Machine Learning Pytorch Tutorial
• Pytorch的常见代码Cheat Sheet

在学习深度学习知识的时候我们建议你采用 code-first，通过实操代码的方式学习

请参考以下教程：

• 动手学深度学习
• Practical Deep Learning for Coders
• PyTorch for Deep Learning
• Deep Learning with Pytorch

如果你曾经接触过深度学习

请参考以下链接以便回顾重要的知识点：

• 吴恩达深度学习教程的中文笔记

如果你想要补充更多的深度学习理论知识

请参考以下教程：

• Deep Learning (MIT)

如果你需要更多训练神经网络的建议

请参考：

• Initializing Neural Networks
• Parameter Optimizing in Neural Networks

自然语言处理基础

本部分包含了自然语言处理的基础知识。请理解自然语言处理的重要原理和模型，并熟悉自然语言处理Python库Hugging Face-transformers的使用。请特别关注以下重点内容：

• 常见预训练模型 (BERT, RoBERTa, GPT)
• Fine-tune 的方法

如果你从未接触过NLP

我们推荐你参考以下教程：

• SIT 教授 Shusen Wang 的 NLP 课程
• Lena Voita's NLP Tutorial
• CMU's Neural Networks for NLP

Transformer和预训练模型相关资源

1. Attention Is All You Need 论文解析：这篇论文是Transformer模型的原始论文，对于理解Transformer的核心概念至关重要。
2. 图解 Transformer 和重要预训练模型：
   • Transformer：这篇博客文章通过图解的方式详细解释了Transformer模型的工作原理。
   • BERT：这篇文章专注于BERT模型，解释了它是如何基于Transformer架构进行构建的。
   • GPT-2：这篇文章介绍了GPT-2模型，它是GPT系列的第二代，也是一个基于Transformer的预训练语言模型。
3. 预训练模型综述：这篇文章提供了对当前流行的预训练模型的全面回顾，包括它们的设计理念、架构和应用。
4. 原版英文论文：这是预训练模型综述的英文原版论文，提供了更深入的技术细节。
5. Pytorch 实现：在这个Bilibili频道中，你可以找到使用Pytorch实现的各种预训练模型的视频教程。
6. Demo：QuantumStat提供的这些Jupyter Notebooks展示了如何使用预训练模型进行各种NLP任务。
7. 预训练模型论文合集：这个GitHub仓库收集了大量关于预训练模型的研究论文，是了解该领域最新进展的宝贵资源。

这些资源将帮助你深入理解Transformer架构以及基于此架构的各种预训练模型。通过构建和训练自己的模型，你将能够将这些理论应用到实际的NLP项目中。

我们希望这些材料能够帮助你在自然语言处理（NLP）的学习和研究中取得进步。随着技术的不断演进，预训练模型已经成为推动NLP领域发展的重要力量。通过深入探索这些模型，你将能够更好地理解和利用它们在各种NLP任务中的强大能力。

记住，学习是一个不断进步的过程。不要害怕尝试新的工具和技术，也不要担心在实践中遇到挑战。通过持续学习和实践，你将能够不断提高自己的技能，并在这个充满活力的领域中找到自己的位置。

最后，如果你有任何问题或需要进一步的指导，请随时查阅上述资源或寻求社区的帮助。祝你在NLP的旅程中取得丰硕的成果！