国泰金控
国泰金控日前在自家技术年会上揭露一款AI资料分析专用工具Tumblebug,能根据使用者需求,自动从数据库海中捞出所需资料,补足AutoML最后一哩路。不只如此,他们还正打造图学数据库,要来解决更复杂的金融问题,未来还要导入因果推论机制,让AI更聪明判断资料因果特征。
资料分析四步骤耗时耗力,自建AutoML工具来分担
国泰金控的AI资料分析流程可分为四大步骤,首先是问题定义,由资料科学团队一来一往与业务单位沟通,将业务问题收敛为分析问题。接着,资料科学团队会从庞大数据库中,找出相关资料,比如透过目标标签(Target label),从金控内数个数据库、数千张资料表、数十万个字段中,锁定出关键资讯,特别耗费人力与时间。
下一个步骤则是特征工程,针对第二步找到的特征和资料,来清洗数据,如资料填补、转换、聚合和精炼等。最后一步是模型选择和训练,通常,这个步骤需要资料科学家调超参数、选模型,也需投入不少时间和人力。
国泰金控资料科学团队手上会有多个专案要同时执行,每一个专案都得执行这四步骤,这也导致,每位分析师、资料科学家很难有充沛时间来寻找更好的模型。
近年也出现不少AutoML工具来解决问题,尤其能自动化执行特征工程和模型选择与训练作业,比如资料清洗和超参数调整,可以节省资料科学团队许多时间。
国泰金控也自行开发一套AutoML工具,也就是AutoMLab,来自动化这些流程。它是一套基于大数据分析平台Spark分散式运算的AutoML套件,能快速协助使用者,利用特征资料表来建立机器学习处理流程。国泰金控指出,AutoMLab的最大特点是,能根据内部使用者反应,来快速迭代、调整产品,还能根据使用者需求开发相应功能。
至此,国泰金控已将资料分析四大步骤的后两步自动化了,接下来,他们瞄准第二步骤:取得相关资料也要更自动化。
打造Tumblebug从数据库海捞出关键资讯
国泰金控表示,以往资料科学团队在取得资料时,会面临不少问题,比如只能搜寻特定资料,只根据特定领域知识锁定少数资料表,来搜寻特征,无法有效利用历年累积的海量资料;这种工作非常耗费人力,而且,一旦遇上过去没处理过的专案题目,若分析人员没有足够的专案知识,就难以从数据库中找出所需特征。
因此,国泰金控资料科学团队开发一套工具Tumblebug,是基于Spark的特征搜寻套件,能根据预测目标,来从海量资料表中找出符合的特征,整理成一张资料表,供使用者后续建模分析。
Tumblebug如何派上用场呢?
首先是处理新兴领域问题。比如,团队有明确的预测问题,但不知道要找哪些特征,就可使用Tumblebug来搜寻特征。或是,分析师要加入更多特征时,也能用Tumblebug从全行数据库搜寻特征,不再局限于少量资料表。又或是,当分析师想快速了解、验证分析问题时,也能用Tumblebug快速找出特征、评估专案可行性。
国泰金控指出,Tumblebug不只能发掘未知逻辑、重要变数,提高资料表使用率外,还能缩短搜寻时间。比如,只要给定预测目标,Tumblebug就能在数小时内,从数据库海找出重要特征。而且,Tumblebug已经经过国泰20多个预测专案实务验证。
正打造图学数据库,还要建置因果推论让AI更聪明
至此,国泰金控AI资料分析流程中,除了第一步的需求访谈外,其余取得相关资料、特征工程、模型选择与训练等步骤都已能自动化执行,使用者也能根据自身需求,来选择人工介入程度。
比如可采用全自动方式,先透过Tumblebug搜寻特征,再利用AutoMLab自动建模;又或是利用自身领域知识,从数据库中寻找特征,再结合Tumblebug找出的特征,传送至AutoMLab来建模。
不只如此,国泰金控也正打造一套图学(Graph)数据库,要将客户金流网络、关系网络转换为图学资料,储存至图学数据库中,有别于以往只储存结构化资料的数据库。未来,国泰金控还要打造AutoGraph工具,来自动化执行图学模型的建置与训练,分析师就能用图学技术解决更复杂的金融问题。
这样还不够。
国泰金控认为,目前的AI虽能准确辨识某些模式,但对显而易见的因果关系,却无法正确推论。因此,他们锁定因果推论(Casual Inference),未来要在寻找资料、模型训练流程中,加入因果推论方法,找出资料间的因果特征,让训练出来的AI能像人类一样推断。
相关文章
- YouTube更新违反规定政策,提升惩处透明度和一致性
2023-12-31 14:00:52
- 传苹果将把中国iCloud正式交给本地化经营 苹果手机icloud换区存储操作
2023-12-27 18:34:43
- 刘德华代言什么手机?刘德华成华为Mate 60 RS非凡大师华为5G新手机代言人
2023-09-26 21:55:08
- WebOS新系统:Palm Pre手机最新款高价登港
2023-06-23 15:39:14
- 帮助企业组织对抗勒索软件,资安通报机构设立防护专区,可协助事前、事中与事后因应
2023-06-22 09:36:10
- 蔚来全系产品降价3万 取消免费换电 换一次电池180元
2023-06-12 17:27:49
- 电商平台三巨头开打最大规模折扣 价格战再次打响
2023-03-05 18:58:40
- 爱立信节省成本裁员四千人 爱立信全球员工总数五分之一
2023-02-24 22:27:29
- 蜜芽关停近况,八位数重金买三字顶级新域名mia.com也关闭
2023-02-23 16:18:14
- 联想CEO杨元庆:联想集团需要裁员32%削减部分业务支出
2023-02-18 12:45:25
- 蓝色光标2022营收亏损18亿 客户预算减少明显
2023-02-18 12:40:08
- 三星工厂或将80%生产转至越南 因本地劳动力成本上升
2023-02-17 23:09:16
- 香港八达通卡如何激活?没用失效过期余额怎么办
2023-02-17 18:34:51
- 中兴通讯被曝将裁员20% 称只裁国外的
2023-02-17 18:33:26
- 苹果新iPhone15Pro手机终于改用USB-C(火牛)数据线??Lightning充电接口退出
2023-02-17 16:57:22
- 突发!蓝色光标曾为中国民企500强龙头 如今业绩亏损断崖下跌
2023-02-16 14:31:19
- 三星发布自家carplay车载中控系统 Car Mode for Galaxy 可以连接carplay吗?
2023-02-14 00:53:17
- Opera浏览器宣布集成ChatGPT 一键生成网页内容摘要
2023-02-14 00:32:08
- 谷歌google计划重返进入中国市场?但结果可能令你失望
2023-02-13 16:57:15
- Zoom紧急裁员1300人 佔员工总数15%
2023-02-08 14:59:11
最新资讯
- 淘宝天猫仅退款属于诈骗吗?淘宝天猫开始部分取消仅退款2024-10-01 13:01:28
- 哈啰app借钱|哈啰借钱app下载安装免费小小上当和电话骚扰2024-10-01 11:22:38
- 白嫖党|山西大同大学学生网购申请“仅退款”被拒骂客服一小时2024-09-27 09:10:44
- 北大数学教授袁新意《姜萍事件的疑点分析》点评姜萍板书 阿里巴巴竞赛受质疑2024-06-28 10:07:40
- 天猫新规可以无条件申请“仅退款”了?淘宝天猫又离狗多多零元购近了一步2024-06-28 09:27:13
手机
- 中国11月手机出货量增34% 5G手机出货量2709.2万部2023-12-28 19:27:57
- 荣耀发布新一代旗舰荣耀Magic5系列,新款上市价格分期0首付3999元起2023-03-06 16:12:32
- 美国商务部指违禁,长江存储被美国拜登制裁名单面临停工裁员2023-02-17 18:41:53
- 苹果Apple iOS车载系统CarPlay支持哪些更多汽车品牌2023-02-02 17:33:27
- 香港去哪买三星手机回来吗? 买香港便宜售价手机市场地点和网站2023-02-02 11:03:11
数码
- 华为5G芯片正式亮相:预示华为将发首款5G手机2023-08-31 13:22:33
- 腾讯传计划放弃虚拟现实VR硬件计划2023-02-17 23:32:30
- 三星手机份额大跌!三星手机中国市场份额变化国内仅剩3%2023-02-01 17:06:15
- 三星手机份额大跌在中国没市场了!国内市场占有率仅剩1%国外比苹果销量高2023-02-01 16:59:53
- vivo发布2022 vivoNEX手机极简易浏览器下载:简洁流畅无广告!2022-12-02 17:29:30
科技
- B站怎么炸崩了哔哩哔哩服务器今日怎么又炸挂了?技术团队公开早先原因2023-03-06 19:05:55
- 苹果iPhoneXS/XR手机电池容量续航最强?答案揭晓2023-02-19 15:09:54
- 华为荣耀两款机型起内讧:荣耀Play官方价格同价同配该如何选?2023-02-17 23:21:27
- google谷歌原生系统Pixel3 XL/4/5/6 pro手机价格:刘海屏设计顶配版曾卖6900元2023-02-17 18:58:09
- 科大讯飞同传同声翻译软件造假 浮夸不能只罚酒三杯2023-02-17 18:46:15