微软的机器学习程序 Tay，在 twitter 上装少女，和用户互动，并基于搜索和语义识别，进行自学习式的互动交流，然而，很可惜，没太久时间，这个程序就暴露出了非常严重的种族主义言论和其他一些非常不健康的言论。
其实，程序员很无辜，从对话信息去翻吧，都是在互动中，被用户教坏的。
我们为什么担心人工智能？其实人工智能本无好坏一说，我们可以教育出好的，也可以教育出坏的，然而，可怕的是，教育出好的人工智能，你需要极度认真，逻辑严谨，持续不断的给予正向的信息反馈，并对可能的风险和误区给予严密的防护策略；而教育出坏的人工智能，可能一个负反馈，一个系统 bug，或者一个逻辑上的不严谨，就出事了，而且一旦人工智能掌握了远超过人类的能力的时候，这个事情真就可能没法收场了。所以，我们担心的，其实是我们自己，是不是真的已经准备好，迎接这样的人工智能。
所以，我这里做个风险预警，在迎接未来更广泛的人工智能或信息决策应用场景的时候，策略决策者，或者拥有决策权的管理者，一定不要用那些没逻辑的人！然而现实中，那些没逻辑的人往往深受大众欢迎！
不用想的太遥远，就是现在这个阶段，当前信息应用场景里，一个系统逻辑 bug 或缺陷可能导致的风险和威胁已经足够大了。从医疗健康，到交通运输管控，到金融系统，等等等等，前几天新闻，日本一个交易系统的 bug，导致某知名交易机构一天损失几百亿。中国最近抓的所谓俄罗斯的量化交易团队，那个从中国股市薅几十亿的神奇团队，有知情人说据称其实也是抓了我们证券交易系统的漏洞。幸运的是，现在我们所面临的系统问题，还都属于人类可控的范畴。
不仅仅是系统，人工智能，变坏比变好更容易，我们人类自己其实也是，很多电影，电视剧里，某些隐藏的邪恶 Boss，一开始也是好人，辛辛苦苦做好人做了几十年，然后一个不小心，或者被社会欺负的，发现好人没法做，逼到绝路，毅然变坏，其实，在日常场景中，这种事情也挺常见的。
做好人，需要不断的克制，坚持，以及控制自己过度的欲望和需求。
而做坏人，很多时候，也许只要随性就可以了。
幸好，在人类社会中，我们还有一些中间的选择，不苛求做圣人，做完美无缺，一言一行，一举一动皆合于情，止于理，这忒难了，但我们可以给自己留一点底线，有哪些事情是不能做，有哪些错误是不能犯的。保留底线的基础上，酌情力所能及的做一点好事，我认为这就可以了。
回到机器，深度学习，系统，我们也许做不到无比的严谨，无比的逻辑正确，以及无比的完美无瑕，是的，必须承认缺陷是必然存在的，问题是必然会有的，在这个基础上，我们要给系统的设计留一条底线，就是错误发生的时候，有一条救命的规则，可以让它不要滑向无尽深渊，可以尽可能在一个边界点止损。
就好比，我们做数据库 DBA 的常识，第一，你肯定要程序员小心不要 SQL 注入，肯定要把密码设计的够复杂，肯定要限制链接数据库的 ip，肯定不允许前段程序用 root 登录，肯定要做一系列这样的防护，但是这样就够了么？这些都做了，你依然会担心这里存在风险；所以，第二，要做热备，不间断备份数据，防止前面各种意外风险的发生。但这样就够了么？ 第三，还要做冷备，就是不管你前面多严谨，都要担心说，万一真的逻辑不严谨被人家 SQL 注入会不会一个 drop table 或 delete * from table where 1 直接把你线上和热备分分钟全干掉。这时候你只能靠冷备救命，这玩意肯定不能全恢复，但就是给你止损的。
这个冷备就是 DBA 系统设计的底线；我们做 IT 系统的时候，这个思路也是非常常见的，太多系统都必须有一个非常紧急的恢复和救命的设计，设计师希望一辈子都不要看到这个设计生效，但一旦出大事了这个设计可能真的可以给系统救命。
一个好的系统，需要持续不断的用心维持，用心控制，以及不断用正确严谨的策略来优化和更；一个坏的系统，随便哪个环节有个疏漏就会出现，都不一定需要坏人来控制。
我们无法杜绝系统变化，我们可以做的，就是真的发现它坏的时候，我们还能约束它，控制它。
不管是人，还是系统，变坏真的很容易。
架构师大会快开了，其实以后希望有心人可以搞个专题，系统灾难救命策略设计。其实很多大公司的系统都有这种设计，但没有人专门拎出来，面对人工智能和其他新的玩意（比如生物基因，你们知道么，这个领域最近这些年突破太大了！ 黑科技越来越多，我也在恶补中。），我认为这个课题的价值越来越大。
【文/曹政 “caoz 的梦呓”（微信号：caozsay）】
·氧分子网（http://www.yangfenzi.com）延伸阅读：
谁能成为人工智能的“引爆点”？
著名作家Malcolm Gladwell曾对“引爆点”作了一个定义。“引爆点”——即一个当想法、趋势或者社会行为超越了某一临界值，并像野火般迅速蔓延传播的神奇时刻。
人工智能技术用于驱动数字化营销和客户体验的想法和理念已经存在很多年了，但直到最近，似乎所有领先的新闻媒体和科技博客都充斥着关于人工智能的报道。各大分析公司也预测了即将到来的人工智能的投资热潮。举个例子来说，IDC公司表示在接下来的四年，其公司用于人工智能软件的投资预计销售增长54%，这也就意味着IDC公司在人工智能方面的投资额从2016年的3.6亿美元增加至2020年的超过20亿美元。我们同时还预见了基于人工智能的机器学习产品的投入增长趋势，这一增长来自于营销的云供应商们竞相提供最优的自动化交付体验。
在复杂的环境下，大量的行为数据和客户信号是很难被准确描述的，但人工智能具备理解、查明这些数据和信号的潜力。同时，它还能通过衡量消费者的互动，达到比较难以捉摸的一对一互动，这种一对一互动也是所有营销者一直都希望达到的。但前提是，它必须被用于有意义的客户数据和个性化任务，否则结果将仍然是毫无价值的。
那么，最近兴起的“人工智能热”是否只是一种炒作？我们真的进入了一个人工智能引领数字化转型的新时期吗？
人工智能创新的最新状态
首先，我们先来关注一下技术本身，并思考一下近期的技术突破是否可能推动人工智能的兴起。
我们把那些最新且最令人兴奋的算法，称为“深度学习”。这些算法促进了“弱人工智能”（ANI）——人工智能的最低水准——的发展。最近，通过网络科技使用深度学习的趋势在不断加深，伴随着这一趋势，我们可以让机器在速度、准确率和可伸缩性上的性能远超人类水平。那些人类操作用时不到30秒的任务对于人工智能机器人来说是最理想的，尽管这些任务是需要对含大量潜在模式的数据进行分析的。人脸识别、语音识别、唇读及其他类似的，涉及图像分析或时间序列的任务活动都是很好的例子。
另外，深度学习进步的组合，以及在模拟环境中实验框架的实现，正引领着“深度强化学习”领域的进步和发展。因此，在不久的将来，那些需要人工不断重复的工作会面临着大爆炸式的变革，比如说“无人驾驶汽车”或“仓库包装机器人”能够帮你迅速完成那些简单自动化的任务。在你还未察觉之前，人工智能的机器人就会帮你快速地叠放好货架、包装好杂物，甚至处理好你的飞机行李托运的工作。
人工智能的创新对数字客户体验的影响主要体现在公司用于客户沟通互动的机制上。在节省时间上，人工智能创新的潜力就已经十分显著了。举个例子：我们团队使用机器学习来找出受品牌影响表现不佳的客户群体，每十个由机器学习引擎找出的、表现不佳的群体将需要大约四五个员工持续工作一个月左右来处理完成。就人工智能的实际应用来说，“会话商务”——即通讯应用程序和购物应用程序的交集——是其另一利益和经济增长的领域。
数据泛滥造成的营销性能差距
人工智能科技不断进步，营销者们利用营销堆栈提供的数据的能力却在持续下降，逐渐跟不上时代的脚步。造成这一现象的主要的因素之一就是源源不断的数据流，以及其带来的庞大的数据过剩。过于庞大的数据量导致人类决策的效率和准确率越来越低。所以就出现了确定可行性见解的能力。再想想收益递减：首先我们能够实现一些简单的改变，但是在那些改变之后你必须要对大量的数据进行逐步深入的研究。这就意味着人类大脑在收集信息和识别模式方面面临的挑战越来越大。从某种程度上来说，可行性见解的价值是无法与投资成比例地增加的。
在IDC和Qubit联合发表的一份最新的报道中，分析家Gerry Brown和Philip Carnelley表示，我们当前正面临着一个“营销性能差距”。具体而言，传统的B2C网站营销方式已经开始死亡，这一营销方式几乎没有改进和发展的空间了。尤其是A/B测试——一项基于用户反馈的实验，实验中将提供给用户两个或两个以上网页和完善情况变量——已经无法达到B2C企业所需的性能了。
另外，网站营销消亡的影响在传统的、用于历史数据分析和报告的分析工具上表现得非常明显。“预测性客户分析”对于那些希望超越传统数据的营销性能来说，几乎是没有影响的，因为营销者们已经无法从他们给出的分析性见解中获得金钱收益了。
持续下降的客户数据收集质量实际上给很多企业带来了消极的影响，造成了客户分析与盈利营销行为间的“营销性能差距”。
人工智能战略将如何帮助企业保持竞争力？
人工智能技术如今已经取得了长足的进步，它能解决不断扩大的营销性能差距问题，还能通过将公司转型为一个“有型人格”——一个比现在更具真实意义的、活生生的品牌，从而显著地提高客户的参与度。对于品牌来说，这意味着具备高度与客户进行实时沟通互动的能力；对于消费者来说，这意味着通过一种更加人格化的方式来认识一个品牌，而不仅仅是单纯的消费行为，更是根据消费者本身的体验参与从而融入到这一品牌中。
公司高管们不需要对这些转型感到恐慌，相反地，他们可以通过自我学习了解基本的人工智能应用程序和当前其局限性，来充分接受这一转型。这有利于他们对其内部那些受人工智能技术驱动影响最大的行业领域进行评估。企业到底应该如何使用人工智能技术？他们可以试着通过对自身提出以下问题来找到使用人工智能的方向——我们对当前正在努力解决的问题是否足够明确？人工智能将接触到我们日常工作流程中的哪些部分？人类团队将如何跨组织地支持人工智能？
之后，企业或公司就能对合适的技术进行评估了。以客户体验交付为例，在后端系统和经验传递机制之间是否存在一个无缝集成？是否存在一个用于促进从对话到收集、见解、动作和测量的迭代互动的快速的反馈机制？客户参与的优势是什么？测试和监控这些人工智能技术在价值增加以及与人类操作者交流互动上的能力的最佳方式是什么？
最后，企业或者公司必须要投资人工智能关闭装置。所有事情都不可能万无一失，一旦出现了差错，有足够的冗余用于降低人工智能技术出现的失误造成的影响是非常重要的。谈到人工智能技术的失误，我们首先会想到微软的聊天机器人遇到的挑战；谷歌公司自动人脸识别系统的分类错误；还有“骑士资本集团”的迅速崩盘。
一切都关乎于人类与机器人的共存
那么现在，我们是不是必须要在机器和人类中做出选择了？
不！因为人工智能凭借其高效率会在每一场与人类的角逐中胜出。但是，就其自身来说，人工智能在抽象推理和直观理解的能力上仍然是比较差的。如果接收到了错误的数据或者工具，那么未经训练的人工智能就会失去其优越性。机器人是需要人类指导的。随着人工智能技术的不断成熟，人类将会更多地关注于开发人类潜能的任务，比如说开发人类在无形的水平条件下进行模式侦测的能力，或者是制定关于一对象或想法本质的理论的能力。
我们不应该把这一人工智能的新时期看作是一场人类与机器的战争，我们应该思考如何让人类和机器协同合作，创造出优势最大化的组合模式。如此，人类将有更大的机会释放人类的时间，将其用于其他需要人类的领域。只有当我们掌握了这两种力量的组合方法，我们才能见证一个真正的、人工智能在数字化营销上的转型。
Graham Cooke是Qubit的创始人和首席执行官，也是主张数据优先的客户体验的先锋人物。
人工智能为何也需要一个“见证奇迹的时刻”？
编译：图普科技 编辑：杨志芳