译自：Pause Giant AI Experiments: An Open Letter
具有与人类竞争能力的人工智能系统可能会对社会和人类造成深远的风险，这一点已经被广泛的研究所证实[1]，并被顶级人工智能实验室所承认[2]。正如广受赞同的Asilomar人工智能原则所述，先进的人工智能可能代表了地球生命历史上的深刻变革，并应该在相应的关注和资源下进行规划和管理。不幸的是，即使最近几个月，人工智能实验室陷入了一个无法控制的竞赛中，努力开发和部署越来越强大的数字智能，连创造者自己都无法理解、预测或可靠地控制。
当代人工智能系统正在成为一般任务上与人类竞争的对象[3]，我们必须问自己：我们是否应该让机器用宣传和虚假信息淹没我们的信息渠道？我们是否应该自动化所有的工作，包括那些有成就感的工作？我们是否应该开发非人类的智慧，它们最终可能会超过、超越、陈旧和取代我们？我们是否应该冒失地失去对我们的文明的控制？这些决策不能被委托给未经选举的技术领袖。强大的人工智能系统应该只在我们有信心它们的效果将是积极的、风险可控的时候才能开发。这种信心必须得到很好的证明，并随着一个系统潜在影响的大小而增强。OpenAI最近就人工智能的普适性表示：“在某些时候，在开始训练未来的系统之前，获得独立的审查可能是很重要的，并且对于最先进的努力，同意限制用于创建新模型的计算的增长率。”我们同意。现在就是这个时候。
因此，我们呼吁所有人工智能实验室立即暂停至少6个月的训练比GPT-4更强大的人工智能系统。这个暂停应该是公开和可验证的，并包括所有的关键角色。如果不能迅速实施这样的暂停，政府应该介入并实施禁令。
AI实验室和独立专家应该利用这个暂停时间共同开发并实施一组共享的安全协议，用独立的外部专家进行严格的审计和监督。这些协议应该确保符合这些协议的系统具有足够的安全性，以排除合理怀疑[4]。这并不意味着暂停AI发展，仅仅是从危险的竞赛中退缩，而这种竞赛会导致越来越大的不可预测的黑匣子模型和新兴的能力。
AI研究和开发应该重新聚焦于使现有的最强大的系统更加准确、安全、可解释、透明、强健、一致、值得信赖和忠诚。
与此同时，AI开发人员必须与政策制定者合作，大大加速健全AI治理系统的发展。这应该至少包括：专门负责AI的新的和有能力的监管机构；对高能力的AI系统和大量计算能力的监视和跟踪；起源和水印系统，以帮助区分真实和合成的内容，并跟踪模型泄漏；一个强大的审计和认证生态系统；对AI造成的损害负责；为技术AI安全研究提供充足的公共资金；以及为应对AI将引起的巨大经济和政治干扰（特别是对民主的干扰）提供充足的资源机构。
人类可以在AI的帮助下享受繁荣的未来。在创造出强大的AI系统后，我们现在可以享受“AI夏天”，在这个夏天里，我们可以收获回报，为了全面受益，工程化这些系统，并给社会一个适应的机会。社会已经暂停了其他可能对社会产生灾难性影响的技术[5]。我们也可以在这里这样做。让我们享受一个漫长的AI夏天，而不是不做准备就匆忙进入秋天。
针对媒体和其他地方的问题和讨论，我们准备了一些常见问题解答。您可以在这里找到它们。
注释与参考资料：
[1]
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2]
Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: ‘A little bit scared of this’. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
[3]
Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
[4]
Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems “function appropriately and do not pose unreasonable safety risk”.
[5]
Examples include human cloning, human germline modification, gain-of-function research, and eugenics.
彩蛋：本文由ChatGPT 3.5翻译而来，没有经过任何修改和润色。虽然翻译能力已经很强了，但是仍然有明显的机翻痕迹。不知道生成式AI的极限在哪，或许未来已来。