APP下载

脸书开源快取引擎CacheLib,连结产业推动快取创新

消息来源:baojiabao.com 作者: 发布时间:2024-10-04

报价宝综合消息脸书开源快取引擎CacheLib,连结产业推动快取创新

脸书对外开源内部已经大量使用的快取引擎CacheLib,CacheLib是一个可插拔的程序内快取引擎,可用来建构和扩展高效能服务。脸书目前有70个大型系统,都已经使用CacheLib作为程序内快取,包括社交图(Social Graph)、内容交付网络、储存和后备键值快取等。除此之外,脸书还开源了基准测试工具CacheBench,供使用者评估不同生产工作负载的快取效能。

快取在存取资讯上扮演重要的角色,像是当电子邮件载入时,便需要快取讯息,当用户在刷新页面的时候,应用程序便无需重新存取相同的资料。但是脸书提到,大规模的快取,到目前为止仍是一个复杂的工程挑战。企业必须平衡用户期望从快取获得的体验,以及系统的高效能和成本效益。

脸书指出,过去每个快取实作都由不同的功能团队独立创建和维护,这种效率不高的原因,是因为忽略了不同快取系统,从部署到维护皆存在相同挑战。再加上传统的DRAM快取不只昂贵,扩展也需要更多的电力,因此脸书便开始探索另外的选择,使用NVM驱动器来强化快取系统。

虽然DRAM和NVM混合模型存在快取发展潜力,但是要能完全发挥混合模型快取的优势,需要有新的快取设计,这包括新的启发式快取研究,能够透过辨识相关内容,在正确的时间中快取,来突破传统系统的界线,而脸书现在要借由开源和产业合作,来推进快取的发展。

脸书开发并开源程序内快取引擎CacheLib,CacheLib提供C++函式库,让开发人员能够利用简单的API,建构并且自定义可扩展的并行快取,同时提供CacheBench,使其成为评估各种快取应用程序的有效基准工具。

脸书表示,CacheLib和CacheBench作为开源平台,有望成为快取创新和基准测试的产业标准。目前脸书开始与研究型大学、硬件制造商和软件公司合作,推动快取创新。脸书正与推特合作,将CacheLib整合到快取框架Pelikan中,使推特在基础设施中能以SSD来快取物件,而Pinterest也计划在机器学习基础设施中,采用CacheLib来提高预测效能和系统稳定度。不只如此,脸书也和英特尔、Kioxia、三星与WD等硬件制造商合作,共同标准化和强化SSD技术,以改进快取解决方案。

2021-09-07 18:46:00

相关文章