Claude Shannon
PulseAugur coverage of Claude Shannon — every cluster mentioning Claude Shannon across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
信息熵解释：概率、压缩和可预测性
克劳德·香农定义的信息熵概念，将消息的概率与其信息内容相关联，其中不太可能的消息承载更多信息。这一原理是数据压缩的基础，表明更频繁的符号应分配更短的代码，而不太频繁的符号应分配更长的代码，以最小化平均比特长度。更高的熵表明一个更随机、更不可预测的系统，使其更难压缩。
-
中国古代易经与莱布尼茨的二进制系统与人工智能的起源相关联
人工智能的发展根植于中国与西方之间一段历史性的思想交流，其时间早于现代计算机科学先驱。德国博学家戈特弗里德·威廉·莱布尼茨（Gottfried Wilhelm Leibniz）开发了对计算至关重要的二进制数字系统，并将其与在北京的耶稣会传教士乔阿希姆·布维（Joachim Bouvet）分享。布维认识到莱布尼茨的二进制系统与中国古代《易经》中的64卦相同，而《易经》大约在3000年前就已经开发出来。这一发现传达给莱布尼茨，验证了他的二…
-
人工智能的70年历程：从达特茅斯会议到现代变革
人工智能，一个正式成立于1956年达特茅斯会议的领域，如今已成为重塑生活诸多方面的变革性技术。其根源可追溯至20世纪初的控制论和神经网络模型，艾伦·图灵在1950年的论文中提出了机器智能的问题并引入了图灵测试。该领域已从早期的专家系统发展到现代的机器学习和深度学习，IEEE为推动其进步和普及做出了巨大贡献。
-
FablePool：AI项目的众包平台
FablePool 是一个个人向 AI 项目贡献小额资金的平台，类似于数字许愿井。该平台旨在通过社区投票收集足够多的支持，使这些项目有可能发展成实际产品。然而，该举措被描述为众包徒劳的展示，项目充当了这种方法的精心案例研究。
-
克劳德·香农：信息论之父与人工智能的灵感来源
克劳德·香农（Claude Shannon）是一位开创性的数学家和工程师，被誉为信息论之父。他于1948年发表的奠基性论文为数字通信、互联网和人工智能奠定了基础。Anthropic 的 AI 模型（包括 Claude）以他的名字命名，以纪念他对现代技术产生的深远影响。
-
大型语言模型的下一词元预测不仅仅是简单的猜测
大型语言模型（LLMs）仅仅预测下一个词元（token）的概念是一种误导性的过度简化。与生成无意义文本的简单马尔可夫链不同，LLMs 从海量数据集中学习复杂的模式、语法，甚至上下文理解，以生成连贯有意义的输出。这种复杂的预测过程需要模型内化知识和推理能力，以准确预测序列中的后续词元。
-
斯坦福大学教授新书探讨信息与意义
斯坦福大学历史学教授 Thomas S. Mullaney 在其著作《我们如何消失》（How We Disappear）中探讨了“信息”的概念及其在保存意义方面的作用。Mullaney 以克劳德·香农的信息论为参照，提出生命是在对抗宇宙的自然无序趋势中，持续维持意义的努力。该书深入研究了个人和社会如何创造和保存信息，并暗示未能维护这些信息会导致一种消失。
-
信息论之父克劳德·香农出生于1916年
被广泛誉为信息论之父的克劳德·香农于1916年出生。他的开创性工作极大地塑造了信息时代。香农的贡献被认为是现代数字通信和计算的基石。
-
新研究探讨AI贡献度衡量、强化学习优化及OOD检测
研究人员开发了CoTrace框架，用于衡量和揭示人机协作中的目标级贡献，发现虽然AI在整体目标塑造中所占比例较小，但它对具体需求和间接影响有显著贡献。此外，一种名为DGPO的新方法旨在通过解决复杂推理任务中的粗粒度信用分配问题来改进LLM的强化学习。同时，一项关于乌克兰语熵的研究提供了上限并将其与LLM性能进行比较，另一篇论文则探讨了使用稀疏自动编码器进行视觉Transformer的分布外（OOD）检测。