- 从零开始大模型开发与微调:基于PyTorch与ChatGLM
- 王晓华
- 677字
- 2024-12-31 17:37:09
1.1.3 选择PyTorch 2.0实战框架
工欲善其事,必先利其器。本书选用PyTorch 2.0作为讲解的实战框架。
PyTorch是一个Python开源机器学习库,它可以提供强大的GPU加速张量运算和动态计算图,方便用户进行快速实验和开发。PyTorch由Facebook的人工智能研究小组于2016年发布,当时它作为Torch的Python版,目的是解决Torch在Python中使用的不便之处。
Torch是另一个开源机器学习库,它于2002年由Ronan Collobert创建,主要基于Lua编程语言。Torch最初是为了解决语音识别的问题而创建的,但随着时间的推移,Torch开始被广泛应用于其他机器学习领域,包括计算机视觉、自然语言处理、强化学习等。
尽管Torch在机器学习领域得到了广泛的应用,但是它在Python中的实现相对较为麻烦,这也就导致其在Python社区的使用率不如其他机器学习库(如TensorFlow)。这也就迫使了Facebook的人工智能研究小组开始着手开发PyTorch。
在2016年,PyTorch首次发布了Alpha版本,但是该版本的使用范围比较有限。直到2017年,PyTorch正式发布了Beta版本,这使得更多的用户可以使用PyTorch进行机器学习实验和开发。在2018年,PyTorch 1.0版本正式发布,此后PyTorch开始成为机器学习领域中最受欢迎的开源机器学习库之一。
在PyTorch Conference 2022上,PyTorch官方正式发布了PyTorch 2.0,整场活动含Compiler率极高,跟先前的1.x版本相比,2.0版本有了颠覆式的变化。
PyTorch 2.0中发布了大量足以改变PyTorch使用方式的新功能,它提供了相同的Eager Mode和用户体验,同时通过torch.compile增加了一个编译模式,在训练和推理过程中可以对模型进行加速,从而提供更佳的性能和对Dynamic Shapes及Distributed的支持。
自发布以来,PyTorch一直都是深度学习和人工智能领域中最为受欢迎的机器学习库之一。它在国际学术界和工业界都得到了广泛的认可,得到了许多优秀的应用和实践。同时,PyTorch也持续更新和优化,使得用户可以在不断的发展中获得更好的使用体验。