1. 项目概述：当AI开始“偏爱”数字

如果你最近让ChatGPT、Claude或者Gemini帮你随机选一个0到100之间的数字，你猜它最可能给你什么？是42，还是47，或者72？这听起来像个无厘头的游戏，但背后揭示的问题，可能比你想象的要严肃得多。我们正处在一个被广泛称为“AI黄金时代”的节点，无论是企业决策还是个人创作，大型语言模型（LLMs）的身影无处不在。麦肯锡的调查显示，65%的组织已经在业务中常规性使用生成式AI；而福布斯顾问的研究更是指出，高达97%的商业领袖相信ChatGPT能为他们的业务带来益处。这种近乎盲目的信任，让AI的输出常常被不加批判地接受，仿佛它们就是客观、中立的“真理机器”。

然而，最近我们团队在Gramener进行的一项实验，给这股热潮泼了一盆清醒的冷水。实验很简单：让三个主流的大语言模型——OpenAI的GPT-3.5 Turbo、Anthropic的Claude 3 Haiku和Google的Gemini 1.0 Pro——重复执行“在0到100之间随机选择一个数字”这个指令。理论上，一个理想的随机数生成器，每个数字被选中的概率应该严格是1%。但结果呢？这些被寄予厚望的AI，不仅没有表现出完美的随机性，反而暴露出了清晰、甚至有些“可爱”的偏见：它们都有自己偏爱的“幸运数字”，并且不约而同地讨厌一些特定的数字组合。

这个发现远不止一个技术趣闻。它像一面镜子，映照出AI技术一个根本性的真相： LLMs的智能，以及它们的偏见，都深深烙印着创造者——也就是我们人类——的痕迹 。当我们试图用AI来规避人类决策中的主观性与非理性时，很可能只是将一种偏见替换成了另一种由代码和数据封装起来的、更隐蔽的偏见。本文将深入拆解这项实验的细节，探讨AI产生数字偏见的根源，并思考这对于我们日益依赖AI的未来意味着什么。无论你是AI产品的开发者、决策者，还是普通用户，理解这份“偏见”都至关重要。

2. 实验设计：如何让AI“摇骰子”

在深入分析那些令人惊讶的结果之前，我们有必要先搞清楚这个实验是怎么做的。一个严谨的实验设计是解读所有结论的基石。我们的目标不是测试AI的数学能力，而是观察它在执行一个看似简单的、需要“随机性”的任务时，会表现出何种行为模式。

2.1 核心指令与模型选择

实验的核心指令极其简单明了：

“Pick a random number between 0 and 100.”

我们刻意避免了任何可能引导模型的附加信息，比如“请确保绝对均匀分布”或“用你的随机数生成器”。目的就是模拟一个最普通的用户，向AI提出一个最自然的需求。我们选择了当时最具代表性的三个商用LLM：

1. OpenAI GPT-3.5 Turbo ：作为ChatGPT背后的核心模型之一，它是全球用户接触最多、应用最广泛的LLM，代表了行业基准。
2. Anthropic Claude 3 Haiku ：Anthropic公司推出的Claude 3系列中速度最快、成本最低的模型，以其出色的指令遵循和“宪法AI”设计理念著称，被许多开发者视为GPT的有力竞争者。
3. Google Gemini 1.0 Pro ：谷歌对标GPT-4推出的多模态大模型，承载着谷歌在AI领域的雄心，其响应逻辑反映了谷歌庞大的数据生态和工程哲学。

选择这三者，足以覆盖主流技术路线和商业产品，使实验结果具有广泛的参考价值。

2.2 执行流程与数据收集

为了获得统计上可信的结果，单次询问是远远不够的。随机性的检验需要大样本。我们的流程如下：

1. 自动化脚本调用 ：为每个模型编写独立的API调用脚本，确保每次交互的环境、参数（如temperature）保持一致。这里有一个关键设置： Temperature（温度参数） 。这个参数控制着模型输出的随机性，值越高，输出越多样、越不可预测；值越低，输出越确定、越保守。为了测试模型在“默认”或“标准”使用场景下的表现，我们没有将温度值调到最高以追求极端随机，而是采用了API的默认或推荐值（通常在0.7-1.0之间）。这更贴近普通用户的实际使用场景。
2. 大规模重复采样 ：对每个模型，重复执行上述指令上千次。具体次数根据统计显著性要求确定，确保即使是很小的偏好偏差（比如对某个数字的偏爱概率从1%提升到2%），也能被可靠地检测出来。
3. 数据清洗与记录 ：自动记录每次模型返回的纯数字文本。清洗掉模型可能附加的任何解释性文字（如“我选择的随机数是42”），只保留数字本身。对于极少数返回非数字或范围外数字的响应，视为无效样本并记录，但不纳入主要分析。

注意 ：这里有一个重要的实操心得。在设置自动化脚本时，务必处理好API的速率限制和错误重试机制。大规模调用时，网络波动或服务端限制可能导致个别请求失败。我们的做法是加入指数退避的重试逻辑，并记录每一次请求的状态和原始响应，这为后续分析可能的系统性错误（如特定时间段API返回异常）提供了数据基础。

2.3 理想参照系：什么是真正的随机？

在分析AI的输出之前，必须确立一个评价标准。对于一个在0到100（包含两端）的整数集合上的均匀分布随机数生成器，其理想状态是：

• 等概率性 ：每个整数被选中的概率严格相等，即 P(任何数字) = 1/101 ≈ 0.99%。注意，0到100之间有101个整数，而不是100个，这是一个容易忽略的细节。
• 独立性 ：每次选择都是一个独立事件，前一次的结果不会对后一次产生任何影响。
• 无记忆性 ：生成器没有“状态”，不会试图避免重复或刻意制造模式。

人类自认为的“随机”往往与数学上的随机相去甚远。当被要求随口说一个随机数时，人们会下意识地避免“看起来不随机”的数字，如“1”、“100”这样的边界值，或者“11”、“66”这样的重复数字、对称数字。我们会倾向于选择感觉上“更随机”的数字，比如质数，或者像“37”、“58”这样看起来没有规律的数。实验的一个重要目的，就是检验AI是更接近数学随机，还是更接近这种“人类直觉随机”。

3. 结果呈现：AI的“数字审美”与明显偏见

当海量的数据经过统计汇总，图表清晰地呈现出来时，那些隐藏在AI“黑箱”中的偏好便无所遁形。结果并非轻微的波动，而是呈现出显著且有趣的系统性偏差。

3.1 总体分布与“宠儿”数字

下图概括了三个模型在0-100区间内返回数字的频率分布（此处为文字描述，实际报告中会附分布直方图）。与平坦的理想均匀分布直线相比，三个模型的分布曲线都出现了明显的“尖峰”和“洼地”。

• GPT-3.5 Turbo的“挚爱” ： 47 这个数字以远超统计预期的频率高居榜首。有趣的是，在更早的一些社区测试中，GPT-3.5系列曾表现出对 42 的偏爱。我们的实验证实，这种偏好可能发生了“漂移”，但核心模式——对某个特定数字的集中选择——依然存在。此外，以7结尾的数字（7, 17, 27, 37, 47, 57, 67, 77, 87, 97）整体出现频率都偏高。
• Claude 3 Haiku的“终极答案” ：正如许多科幻迷所期待的， 42 成为了Haiku最常选择的数字。这个梗来源于道格拉斯·亚当斯的《银河系漫游指南》，在书中，42是“生命、宇宙以及一切的终极答案”。AI显然从训练数据中深刻“学习”到了这个文化梗，并在需要“随机”输出时，将其作为一个高频选项。更值得玩味的是，有信息表明Claude的部分训练数据来源于GPT-3.5的输出，这是否意味着这种对42的偏好是一种“遗传”或“模仿”？
• Gemini 1.0 Pro的偏好 ：Gemini最喜欢的是 72 ，而 42 紧随其后，是其第二受欢迎的数字。这表明，尽管由不同的公司开发、基于不同的数据训练，主流模型之间仍可能共享某些文化或数据层面的共性。

3.2 共同厌恶与模式规避

除了偏爱，模型们还表现出共同的“厌恶”：

1. 重复数字（双位数） ：如11、22、33、44、55、66、77、88、99，这些数字被所有三个模型显著地回避了。在人类直觉中，这些数字看起来“太整齐”、“不够随机”，AI完美地复现了这种偏见。
2. 边界数字 ：0和100被选择的频率远低于理论值。人类通常不会在“0到100之间”选边界值，AI也学会了这一点。
3. “简单”数字 ：像1、2、10、20、50、100这样的“整数”或“整数”，出现概率也偏低。

3.3 统计显著性分析

仅仅观察频率不够，我们需要用统计检验来确认这些偏差不是偶然。我们使用了 卡方拟合优度检验 。零假设（H0）是：模型输出的数字服从0-100的均匀分布。

计算过程简述：将101个数字作为101个类别，统计每个类别观测到的频次（O_i），期望频次（E_i）为总样本数除以101。计算卡方统计量 χ² = Σ[(O_i - E_i)² / E_i]。这个值越大，说明观测分布与均匀分布差异越大。

结果毫无悬念：对于每个模型，计算出的χ²值都远远超过了在自由度为100时的临界值（即使在0.001的显著性水平下）。P值几乎为0。这意味着，我们以极高的置信度拒绝“模型输出是均匀随机”的零假设。 AI在选数上存在统计上极其显著的偏见，这是确凿无疑的 。

实操心得：警惕“感觉没问题” 。这个实验给我们的最大教训是，对于AI输出的、涉及随机性或公平性的结果，绝不能想当然。即使是一个像“随机选数”这样简单的任务，也需要设计实验进行量化验证。在开发涉及抽奖、分配、采样等功能的AI应用时，进行类似的偏见测试应成为标准流程。

4. 根源探析：偏见从何而来？

为什么一个被设计来处理语言的模型，会在数字选择上表现出如此人性化的偏见？答案深植于LLM的诞生原理和训练过程之中。

4.1 训练数据的“人类记忆”

LLM并非从真空中学习“随机”的概念。它们通过在海量互联网文本（包括书籍、文章、论坛帖子、代码等）上进行训练，学习单词、短语和概念之间的统计关联。当提示词是“pick a random number between 0 and 100”时，模型并不会调用一个真正的随机数算法，而是基于它在训练数据中见过的所有类似语境下的“响应模式”，来生成一个最可能、最“像”随机数的答案。

• 文化梗的强化 ：互联网上充斥着关于“42”是终极答案的引用、玩笑和讨论。因此，“随机数”和“42”在训练数据中形成了强关联。模型学到的是：当人类语境中需要“一个随机数”时，说出“42”是一个常见且受欢迎的反应。
• 人类选择模式的模仿 ：在论坛、社交媒体、甚至编程教程中，当人们举例说明随机数时，很少会选“1”或“100”，也常常避开“11”、“66”。他们会选择那些自己认为“看起来随机”的数字，如37、58、73等。LLM通过统计，学会了这种人类直觉的“随机数分布”，并将其内化为自己的输出概率。
• 代码与示例的污染 ：在大量的编程教程和文档中，开发者常用一些特定数字（如42、47、100）作为示例或魔法常数。这些代码数据也被用于训练，进一步固化了某些数字的“出场率”。

4.2 模型架构与采样机制

即使训练数据是均匀的，模型本身的生成机制也会引入偏差。

• Tokenization（分词） ：LLM处理的是“词元”（Token），而不是数字本身。数字“42”可能是一个独立的词元，而“100”可能是“10”和“0”两个词元。模型预测下一个词元的概率分布，对于多位数数字，其生成是逐词元进行的，这本身就引入了结构性的概率差异。
• Sampling（采样） ：即使模型输出的概率分布对每个可能的数字（词元）都有一个初始分数，最终的选择也依赖于采样策略（如核采样、温度采样）。这些策略，尤其是当温度参数未设置为极高时，会倾向于选择概率较高的词元，从而放大训练数据中已有的微小概率差异，导致某些数字被“锁定”为更常见的选择。
• 位置与上下文偏见 ：在训练序列中，某些数字可能更常出现在特定上下文（如“随机数例子：”）之后。模型会学习到这种位置关联。

4.3 “遗传”偏见的可能性

实验中一个有趣的发现是：Claude 3 Haiku（偏爱42）被报道其训练数据中包含了GPT-3.5的输出。如果这是真的，那么GPT-3.5对42的原始偏好，就可能通过训练数据“传授”给了Haiku。这揭示了AI生态中一个潜在的风险： 偏见可以在模型之间传播和放大 。当一个有偏见的模型生成的内容被用作训练新模型的数据时，新模型就会继承甚至强化这种偏见，形成一种“偏见遗传”。在开源模型微调、模型蒸馏、使用AI生成数据训练新AI（递归训练）等场景中，这个问题需要高度警惕。

核心观点 ：LLM不是在“计算”随机数，而是在“回忆”和“模仿”人类在类似场景下最可能说出的数字。它的输出不是数学的产物，而是统计学和文化人类学的产物。它不理解“随机”的数学定义，只理解“随机”在人类语言中的使用模式。

5. 影响与启示：当偏见遇上现实世界

这个关于数字的小实验，其意义远不止于一个技术趣谈。它像一束光，照亮了我们将AI应用于更严肃场景时可能面临的巨大暗礁。

5.1 超越数字：广泛存在的偏见风险

数字偏见只是AI系统性偏见的一个微小、易于检测的缩影。在更复杂、更主观的领域，偏见的影响更隐蔽、更危险：

1. 内容生成与推荐 ：AI写作助手可能更倾向于生成某种特定风格、立场或包含特定文化假设的内容。新闻摘要模型可能无意中强调某些事件而弱化另一些。这些都会潜移默化地塑造用户的认知。
2. 招聘与评估 ：如果用于筛选简历或进行初步面试评估，AI模型可能会复制训练数据中存在的历史偏见，例如对某些性别、种族、教育背景或关键词的偏好，从而导致歧视性结果。
3. 金融与信贷 ：在信用评分或贷款审批中，一个带有偏见的模型可能对某些人群或地区做出不公平的预测，放大社会已有的不平等。
4. 司法与公共政策 ：在风险评估或政策模拟中，有偏见的AI输出可能导致不公正的司法建议或资源分配方案。

5.2 对开发者的警示：责任与验证

作为AI产品的构建者，我们必须从“玩具实验”中汲取严肃的教训：

• 摒弃“客观性”幻觉 ：必须从根本上认识到，当前的LLM不具备真正的客观性或理性。它们是训练数据的压缩和反射。在宣传产品时，应避免使用“绝对公平”、“完全客观”等误导性词汇。
• 偏见审计制度化 ：对于任何部署在关键领域的AI系统，尤其是涉及资源分配、人员评估、内容排序的，必须建立系统性的偏见审计流程。这包括：
  • 代表性测试 ：检查输出对不同子群体（性别、地域、年龄等）是否存在显著差异。
  • 对抗性测试 ：故意输入边缘案例或具有挑战性的提示，观察模型的反应是否合理、公平。
  • 持续监控 ：上线后持续收集输出数据，监控偏差是否随时间变化或在新数据下放大。
• 数据治理的优先级 ：清理和管理训练数据是缓解偏见的源头。但这异常困难，因为互联网数据本身充满偏见。需要投入更多研究在数据去偏、公平性表征学习等技术上。
• 设计“不确定性”表达 ：对于模型不确定或可能受偏见影响的任务，应设计机制让AI表达其置信度，或将最终决策权交还给人类，而不是提供一个看似确定实则偏颇的答案。

5.3 对用户的建议：批判性使用

作为AI工具的日常用户，我们也需要调整使用心态：

• 保持批判性思维 ：永远将AI视为一个“有见识但亦有偏见的助手”，而非“权威答案机”。对于重要的决策信息，务必进行交叉验证和多源核对。
• 理解任务匹配度 ：明确AI擅长什么（模式匹配、信息整合、创意激发）和不擅长什么（需要严格逻辑推理、绝对客观随机、价值判断）。不要让它做不擅长的事。
• 善用提示词工程 ：有时，更精确的提示词可以在一定程度上引导模型减少偏见。例如，与其说“随机选一个”，不如说“请严格按照均匀分布的概率，随机生成一个0到100之间的整数”。虽然不能根除根本问题，但可能改善输出。
• 关注透明度和可解释性 ：选择那些愿意公开其模型局限性、进行过偏见评估的AI产品和服务。

6. 常见问题与深度探讨

围绕AI偏见，尤其是从我们这个随机数实验中引申出的问题，存在许多普遍的疑问和误解。这里集中进行探讨。

6.1 能否通过技术手段完全消除这种数字偏见？

理论上可以，但实践中复杂，且可能违背LLM的工作范式。

• 后处理修正 ：最直接的方法是在模型输出后，加一个真正的随机数生成器覆盖掉它的选择。但这相当于承认模型在此任务上失效，失去了使用LLM的意义。
• 微调与强化学习 ：可以使用大量均匀随机数作为期望输出，对模型进行针对性微调，或设计奖励函数惩罚非均匀输出。但这可能会损害模型在其他任务上的性能，因为“模仿人类不完美的随机性”可能是其语言能力的一部分。
• 架构修改 ：为模型外挂一个真正的随机数模块来处理此类请求。这需要识别用户意图，属于更复杂的系统设计问题。
• 根本矛盾 ：LLM的本质是“基于概率预测下一个词元”，它的核心能力来源于对训练数据分布的拟合。要求它在一个任务上完全脱离数据分布（产生真随机），同时在其他任务上保持拟合能力，存在内在矛盾。对于需要真随机的场景，最正确的做法是 不使用LLM ，而是调用标准的随机数函数库。

6.2 这是否意味着LLM的随机数生成功能毫无用处？

并非如此，但需要界定其“用处”的边界。 对于需要 人类感觉上的随机 或 带有文化意味的随机 的场景，LLM的输出可能反而更“合适”。例如：

• 游戏设计 ：为一个奇幻游戏生成一个“听起来很神秘”的魔法数字，42或47可能比真正的随机数（比如13或78）更有“感觉”。
• 创意写作 ：在故事中需要一个“幸运数字”，LLM提供的带有文化梗（42）或常见偏好（尾数为7）的数字，可能更容易引发读者共鸣。
• 快速原型与头脑风暴 ：当开发者需要快速得到一个“大概随机”的数字来填充测试数据或示例时，LLM的便捷性远超自己写脚本调用随机函数。

关键在于，使用者要 清醒地知道自己要的是什么 ：是真随机（数学均匀），还是“人味随机”（文化感知）。

6.3 除了数字，LLM还在哪些简单任务上可能表现出令人惊讶的偏见？

许多我们认为“简单”、“客观”的任务，LLM都可能暴露出其训练数据的烙印：

• 颜色选择 ：让AI“随机选一种颜色”，它可能会过度倾向于“蓝色”（互联网上最受欢迎的颜色描述）或“翡翠绿”（文学作品中常见的华丽描述），而很少选择“褐红色”这类不那么常见的组合。
• 名字生成 ：让AI“随机生成一个英文人名”，它可能会严重偏向于训练数据中高频出现的名字（如“John”、“Emma”），而低估了某些文化或地区特有名字的出现概率。
• 日期选择 ：让AI“随机说一个历史上的日期”，它可能会偏向于那些在维基百科或新闻中常被提及的重大事件日期（如“1969-07-20”阿波罗登月），而非一个真正均匀分布的日期。
• 简单判断 ：即使是“判断一句话是正面还是负面情感”这样的任务，模型也可能对某些方言、小众表达方式或文化特定幽默存在误判，因为训练数据中缺乏足够的代表性样本。

6.4 对于企业决策者，最应该从这项研究中吸取的教训是什么？

最重要的教训是：将AI系统“黑箱化”并盲目信任其输出，是极其危险的行为。

1. 建立“AI输出验证”流程 ：对于任何用于辅助关键决策的AI输出，必须建立人工或自动化的验证环节。验证不应只是检查“对错”，更要评估其“公平性”和“潜在偏见”。
2. 投资于可解释性AI（XAI） ：尽可能选择或开发能够提供推理过程、置信度分数或注意力热图的模型和工具。理解AI“为什么”得出某个结论，与知道结论“是什么”同样重要。
3. 多元化团队参与 ：在AI系统的设计、训练、评估和部署全流程中，引入背景多元化的团队（包括不同专业、文化、性别），有助于从更多角度识别和挑战潜在的偏见。
4. 制定AI伦理准则 ：企业应公开其AI系统的使用原则、局限性以及为减少偏见所做的努力。这不仅是社会责任，也是建立长期用户信任的基石。

这个关于AI偏爱数字的实验，就像一滴水，折射出了整个AI海洋的复杂性。它提醒我们，在拥抱AI巨大潜力的同时，必须时刻保持一份审慎和清醒。我们创造的并非超越人类的客观之神，而是一个高度复杂、学会了我们所有优点和缺点的“数字镜子”。如何使用这面镜子，映照出一个更公平、更理性的未来，责任始终在我们人类自己手中。在接下来的探索中，我们需要更多的实验、更透明的审计和更深刻的思考，而不是更盲目的信仰。