作者：段智华
链接：https://www.zhihu.com/question/517440629/answer/2366114293
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
“一种架构，统治一切”( 来自Gavin的Transformer硅谷杂谈系列) 第二季：透彻理解Shannon's Entropy Theory 发布
Entropy是NLP领域进行信息衡量和模型优化最核心的概念，掌握Entropy底层内核能够极大的提升对自然语言处理本质的理解并带来深度的技术洞察力。
本系列视频从示例入手来一步步完整再现Shannon's Entropy的整个实现过程及应用。内容包括：
Entropy： amount of information
Storage and transmission of information
Shannon’s entropy
Concept of "Amount" of Information
Quantifying the Amount of Information
Example of Information Quantity
The Entropy Formula
Mathematical Approximation of Required Storage
