异步导读

从饿了么到融360，8年多的测试开发工作经验,让艾辉对大数据、机器学习测试技术有着超乎常人的深刻理解。

对于传统软件、互联网产品的测试，测试方法及质量保障体系是相对成熟的，而机器学习测试是一个较新的方向，大部分程序员无法把传统软件及互联网产品的测试方法生搬硬套到机器学习测试中，测试行业里鲜有完整的机器学习质量保障体系可供借鉴。

针对这一现状，艾辉和他带领的AI 测试团队把他们的一线实战经验沉淀成《机器学习测试入门与实践》一书，系统地介绍了机器学习测试技术与质量体系建设，帮助初学者了解机器学习是如何工作的，了解机器学习的质量保障是如何进行的。

“成功不是将来才有的，而是从决定去做的那一刻起，持续累积而成。”这本专门讲述机器学习测试技术的书的出现恰逢其时，如久旱逢甘霖，为所有渴望拥抱人工智能的测试同行指明了学习路线。

AI领域首本测试著作

 

机器学习测试入门与实践

作者：艾辉

自律让我受益一生

我出生于武汉一个和睦的五口之家，上面还有两个姐姐，从小家里家教挺严的，父母比较重视学习，并且尽他们最大的努力去给我们姐弟创造一个良好的学习环境。

我在成长的过程中，从家庭收获很多：好奇心、踏实、自信和坚持等，其中最大的财富，我觉得是自律。

初二的时候，我特别青春叛逆，可以说是问题少年：逃课打架、包夜网吧、顶撞老师，干了很多“坏事”。学习成绩更是一落千丈，从班级前几名，直接滑落到倒数几名。初二升初三的期末考试，由于考得一塌糊涂，家长会上，老师直接告诉了父母我在学校的表现和学习成绩情况，父母得知后表现得十分冷静，我却只担心这是“暴风雨前的宁静”。

回到家，预想中的暴风雨没有来，父母只是跟我苦口婆心地长谈了一次。这次交谈，对我触动很大，父母告诉我，上学的机会要好好珍惜，学习是自己的事，父母不会逼我，如果我真的不想读书，他们可以直接让我初中毕业就出去打工。

躲过这场暴风雨，我心里很清楚，不好好学习，可能就没有上学的机会了。于是在初三那一年，彻底沉下心来，不需要父母老师“逼迫”，自己自律，努力追赶，终于在中考的时候考上了重点高中，得以延续后面的求学生涯。

之后自律就一直贯穿了我的学习生涯乃至后面的职业生涯。大学的时候我开始跳街舞，当时还组建过街舞队并参加各种比赛，但跳街舞的同时，我始终坚持阅读看书，保持主动学习和深度思考。大学毕业时，我是大家口中的“面霸”，收到6-7家公司Offer，这都得益于“自律”。

说到面试，我当初也和广大毕业生一样，都是抱着试一试的态度，参加了各种校园招聘、各种海投。当时我接到一家北京的外企电话面试，由于是全英文面试，还担心是不是骗子公司。好在之前有做英语面试准备，也就先面试再说，结果几天后，收到了校招Offer，自动化测试岗位。

那时我也收到了其他公司的开发岗Offer，但自动化测试岗位是第一次听说，特别好奇，所以就稀里糊涂的选择了自动化测试岗——就这样和测试行业结下了不解之缘。

我最初是想留在武汉工作发展的，后来有一个同学一直和我说北京IT行业发展好、机会多，各种一顿吹。说着说着，还主动帮我买了武汉到北京的火车票，实在不好拒绝。于是，我也开始了北漂。

从饿了么到融360

2011年，由于大学同学那张果断的火车票，让我开始了8年的北漂生涯，现在回想起来，当时的选择其实特别正确。北京的产业发展、工作机会等，对于一个刚毕业的大学生来说，的确能带来较大的锻炼成长。

第一年是实习，那年的绩效评估，我被实习leader给了一个差评并做调岗处理。对于实习期间的工作，其实我是自我感觉良好的，没想到被全盘否定，当时感觉就像当头一棒，瞬间体会到了职场竞争的现实与残酷。

所以面对差评调岗，我痛定思痛，恶补业务能力、技术短板。在之后的工作中，对待工作一丝不苟，主动学习成长，培养专业素质。

2015年的时候，我看到了移动互联网的迅猛发展，由于大学跳街舞（虽然工作后没有坚持跳街舞了，但跑步、跳绳运动是不曾拉下的），所以我的身体是一直处于一个有活力、较健康的状态的，这让我觉得自己可以适应高强度、快节奏的互联网工作，于是我决定从安逸稳定的国企离开，加入了头部互联网公司阿里巴巴,学习并实践C端产品的质量保障与工程效能技术。

在饿了么：高要求、快节奏

在饿了么的产品质量保障工作，总结来说，有3个典型的挑战问题。

一是稳定性要求高，业务场景是多用户、高并发、大流量的C端场景，对服务稳定性要求特别高。除了要保证核心的功能业务，更是需要做好全链路压测、故障演练、服务监控等服务稳定性保障工作。

二是迭代交付很快，整体要求80%的项目需要在2周内上线交付，项目交付压力较大。测试工作面临着排期短、项目多的挑战，一方面要做好资源支持，另一方面需要建设有效的测试效率工具平台（自动化测试平台、问题定位平台、流量回放平台等），提升研发效能。

三是跨域项目较多，一个营销活动往往会涉及多个业务部门，用户端、营销、支付等等。作为项目的接口测试负责人，需要组织、协调、推动各业务部门配合支持，对项目管理能力有较大的挑战与锻炼。

2018年的时候，我开始感觉到AI是未来的技术大趋势，于是我打算从O2O行业转型到Fintech，从事风控大数据相关技术，于是我加入了融360团队，开始从0到1构建AI测试体系。

在融360：挑战建设AI质量体系

都是高级技术经理，在融360的产品质量保障工作和在饿了么时有很大区别。在这里，更多的挑战问题，在于如何建设AI质量体系，即对大数据、模型算法的测试方法、手段等。经过2年多的学习调研、实践摸索，我们逐渐搭建了一套完整的AI质量体系，即数据质量、特征分析、模型评测，并结合大数据质量平台、模型评测平台等平台实践，进一步丰富完善。

对于传统软件、互联网产品的测试，测试方法及质量保障体系是相对成熟的，而机器学习测试是一个较新的方向，我们无法把传统软件及互联网产品的测试方法生搬硬套到机器学习测试中，测试行业里鲜有完整的机器学习质量保障体系可供借鉴。

其中最大的不同和难点，在于机器学习测试是一个Test Oracle问题，即模型服务输出的是一个预测概率，没有固定的标准，无法用传统测试方法来断言验证。我们需要从算法推导的正确性、算法效果的正确性、算法应用的正确性这3个方面来做质量保障。

所以，2019年6月份的时候，我就开始思考《机器学习测试入门与实践》一书的创作了，我们需要一本书填补机器学习测试领域的空白。

在人工智能应用正在爆发的今天，市面上做机器学习应用的公司很多，但专门做机器学习测试的团队是凤毛麟角的，测试体系建设尚在逐步完善的阶段，就更别说如何学习机器学习测试了。

所以，我和我带领的AI 测试团队，把我们这些年在机器学习测试方面的一线实战经验编写成书，专门讲述机器学习测试技术，希望能为所有渴望拥抱人工智能的测试同行指明学习路线。

 

我们内部将这本书的写作项目命名为登月计划。从10月份正式立项Kick Off，之后我们用了半年多的时间进行技术调研、设计评审、初稿写作、审稿试读等工作。

我们团队为这本书组织了一系列技术攻坚，主要是从以下 3 个方面着手的：

① 通过机器学习专业课程的培训， 系统地学习机器学习技术，并熟悉建模训练的过程；

② 通过专项技术主题实践（大数据自动化、 特征分析、模型评测、工具平台建设等），不断积累机器学习测试的实践经验；

③ 逐步搭建机器学习应用的质量保障体系，并结合业务场景，进一步补充完善。

书中精选60个AI测试要点，全面且系统地介绍了机器学习测试技术与质量体系建设，涵盖5大技术主题：大数据、模型算法、模型评测、工程架构、智能化测试。非常适合希望入门机器学习、大数据测试的读者阅读。

 

我们希望工程开发人员和测试工程师通过阅读本书，可以系统化地了解大数据测试、特征测试及模型评估等知识；算法工程师通过阅读本书，可以学习模型评测的方法和拓宽模型工程实践的思路；技术专家和技术管理者通过阅读本书，可以了解机器学习质量保障与工程效能的建设方案。

如今，《机器学习测试入门与实践》终于和大家见面了。感谢各位异步读者对本书的关注，期望这本书能帮助大家解答机器学习相关技术的诸多疑惑，并入门AI测试。同时，如果能通过本书推进AI测试的普及与发展，那将是我的荣幸。

未来：为AI测试的发展贡献更多力量

当下，人工智能发展如火如荼，机器学习堪称重中之重，与会学习的机器下围棋、打游戏都不在话下。

随着机器学习程序的应用日益广泛和它本身技术的复杂性，机器学习应用程序的质量问题也越来越突出，主要体现在数据质量、模型效果等多方面，对机器学习质量的保障也越来越重要。

机器学习的测试有别于传统软件或者互联网产品测试，它是一个较新的方向，存在着诸多挑战，已有的互联网产品测试方法和经验无法直接生搬硬套。在行业领域中，也少有完整的机器学习质量体系可供借鉴。

在此背景下，我们编写了《机器学习测试入门与实践》一书。本书是业界首部贴近实战的AI测试著作，填补了学习测试领域的空白。书中场景要点丰富，覆盖大数据、模型算法、模型评测、工程架构、智能化测试共计5大技术主题，共计60个测试要点。

并且本书使用大量案例图表做简单易懂的解释，全彩刷印，力求最佳阅读体验。

本书的特色可以概括为以下五点：

1、第一本书。本书是业界首部贴近实战的AI测试秘籍，填补了机器学习测试领域的空白。

2、内容要点丰富。本书涵盖5大技术主题，大数据、模型算法、模型评测、工程架构、智能化测试，共计60个测试要点。

3、32位专家鼎力推荐。本书由32位测试专家、算法专家、技术负责人、大学教授联袂推荐。

4、覆盖经典场景。本书详细解释了3个主流模型场景问题，图像分类、广告推荐、金融风控。深度剖析了模型技术原理和工程架构，并对模型产品输出了全链路质量保障方案。

5、力求最佳阅读体验。本书大量使用案例图表做简单易懂的解释，算法公式的推导结合数据可视化清晰直观的解答；本书共计150多张实例插图，100多个实例代码，全彩印刷。

目前我们团队正在开发模型评估平台、数据质量平台两个产品，待产品功能打磨成熟后，期望能够打造为开源项目，为AI测试的发展贡献更多力量。
在未来的几年，我会继续深耕AI测试技术的实践，并积极布道推广；广泛听取业界测试、开发工程师的建议问题，做《机器学习测试入门与实践》第二版或其他AI测试专题的书籍创作。

为了更好地服务读者，给读者答疑解惑并做深入交流，我创建了业界首个专注于AI测试的微信公众号“AI测试之路”，敬请关注。同时也可通过邮箱andywh1116@163.com，与我直接联系交流。

 

艾辉，融360高级技术经理，中国人民大学统计学院硕士。主要负责机器学习产品的质量保障工作，曾在饿了么担任高级技术经理，负责用户产品、新零售产品的质量保障工作。具有8年多的测试开发工作经验，曾多次受邀在行业技术大会做Topic分享，如：MTSC、GITC、NCTS、Top100、TiD、A2M等。对大数据、机器学习测试技术有深刻的理解，并长期专注于质量保障与工程效能领域。

 

机器学习测试入门与实践

作者：艾辉

内容简介：

本书是业界首部贴近实战的AI测试著作，填补了学习测试领域的空白。书中场景要点丰富，覆盖大数据、模型算法、模型评测、工程架构、智能化测试共计5大技术主题，共计60个测试要点。