2024年被普遍认为是“大模型落地应用元年”，而要让大模型真正落地应用到企业的生产环节中，推理能力至关重要。所谓“推理能力”，即大模型利用输入的新数据，一次性获得正确结论的过程。除模型本身的设计外，还需要强大的硬件作为基础。
在8月21日举办的2024火山引擎AI创新巡展上海站活动上，火山引擎云基础产品负责人罗浩发表演讲，介绍了火山引擎AI全栈云在算力升级、资源管理、性能和稳定性等方面做出的努力，尤其是分享了针对大模型推理问题的解决方案。
罗浩表示，在弹性方面，与传统的云原生任务相比，推理任务，以及面向AI native应用，由于其所对应的底层资源池更加复杂，因此面临的弹性问题也更加复杂。传统的在线任务弹性，主要存在于CPU、内存、存储等方面，而AI native应用的弹性问题，则涉及模型弹性、GPU弹性、缓存弹性，以及RAG、KV Cache等机制的弹性。
同时，由于底层支撑算力和包括数据库系统在内的存储都发生了相应的变化，也导致对应的观测体系和监控体系出现不同的变化，带来新的挑战。
在具体应对上，火山引擎首先在资源方面，面向不同的需求，提供了更多类型的多达几百种计算实例，包括推理、训练以及不同规格推理和训练的实例类型，同时涵盖CPU和GPU。
在选择实例时，火山引擎应用了自研的智能选型产品，当面训练场景或推理场景时，在给定推理引擎，以及该推理引擎所对应的模型时，都会给出更加适配的GPU或CPU实例。该工具也会自动探索模型参数，包括推理引擎性能等，从而找到最佳匹配实例。
最后，结合整体资源调度体系，可以通过容器、虚拟机、Service等方式，满足对资源的需求。
而在数据领域，目前在训练场景，最主要会通过TOS、CFS、VPFS支持大模型的训练和分发，可以看到所有的存储、数据库等都在逐渐转向高维化，提供了对应的存储和检索能力。
在数据安全方向，当前的存储数据，已经有了更多内容属性，企业和用户对于数据存储的安全性也更加在意。对此，火山引擎在基础架构层面提供全面的路审计能力，可通过专区形式，支持从物理机到交换机，再到专属云以及所有组件的对应审计能力。
对此，罗浩以火山引擎与游戏公司沐瞳的具体合作为例给予了解释。在对移动端游戏里出现的语言、行为进行审计和审核时，大量用到各种各样的云基础，以及包括大模型在内的多种AI产品，而火山引擎做到了让所有的产品使用都在同一朵云上，使其在整体调用过程当中，不出现额外的流量成本，也使整体调用延时达到最优化。
另外，在火山引擎与客户“美图”合作的案例中，在面对新年、元旦、情人节等流量高峰时，美图通过火山引擎弹性的资源池，同时利用火山潮汐的算力，使得应用整体使用GPU和CPU等云资源时，成本达到最优化。
罗浩最后表示，未来火山引擎AI全栈云在算力、资源管理、性能及稳定性等方面还将继续探索，为AI应用在各行业的落地，奠定更加坚实的基础，为推动各行业智能化和数字化转型的全新助力。
8月22日至23日，由宾果智能协办的2024年IRO国际机器人奥林匹克大赛中国总决赛在首都北京冰丝带体育中心正式举行。 宾果智能董事长、清华大学人工智能博…
暑假结束又迎来了新一轮的开学季。面对着新学期海量的新知识与学习中的新挑战，不少同学都有购买平板电脑助力学习的需求。那如何选择一款称心如意、又功能强大的平板电脑呢？三星Galaxy …
耕升GeForce RTX 4070 SUPER系列显卡自推出以来,便赢得众多2K分辨率游戏玩家的青睐与支持。该系列显卡不仅以卓越的性能配置著称,更以其出色的性价比赢得了市场的认可…
在商业的浩瀚历史长河中，柯达的名字如同一颗璀璨的星辰，虽有过短暂的黯淡，却无法掩盖其曾经散发的耀眼光芒。 柯达公司的发展历程堪称一部传奇。1888 年，乔治?伊士曼推出了柯达相机，…
8月26日，岚图首款全球车型——岚图知音在东风云峰工厂正式下线，并同步宣布即将开启万里长测。验证一辆车品质的最好方式就是在路上，在长测过程中，岚图知音将经历各种复杂路况和极端环境的…
中秋国庆假期将至，你找到心动的旅行目的地了吗?如今旅行者的决策路径多样化，他们更倾向于在社交媒体、内容平台乃至浏览器资讯上寻找旅行灵感。华为浏览器拥有着庞大的用户基数和…
夏末秋初，天气开始逐渐凉爽，天南海北的景色也别有韵味。相信不少朋友已经按捺不住激动的心情，计划着去探索祖国的大好河山，然后用影像记录下这美好的时光。然而，笨重的单反相机和复杂的镜头…
国际会议上，你是否难以打破语言不通的困局；日常工作中，你是否被繁琐的报告搞得焦头烂额；进行创作时，你是否因复杂的操作方式而顿失灵感？现在，一部融合大屏、S Pen与丰富AI功能的三…
8月8日，在北京望京凯悦酒店举办的2024快应用开发者大会正式落下帷幕。本届快应用开发者大会以“快意无界，与AI同行”为主题，聚焦于快应用2.0版本与人工智能技术的深度融合，从技术…
三星电视“六感之神”战略发布会，选在了北戴河的阿那亚。漫步在海边的阿那亚，穿行于礼堂、剧场、图书馆之间，艺术气息扑面而来。据说阿那亚的名字来自梵语阿兰若，原意为“人间寂静处，找回本…
开学在即，是时候给中小学生们换一波新装备了！8月26日到9月5日，打开京东APP搜索“1分钱抽全家桶”，就有机会赢得真香全家桶。每天10点准时开抢，8月26日—8月31日每天抽一桶…
开学在即，文具、教辅图书、3C装备等需要提前准备。为让家长省时省心一站购齐开学装备，京东3C数码携手晨光文具、学而思、一本、得力、JBL、华为、小度青禾、爱普生、科大讯飞等品牌共同…
在自动驾驶技术日益成为汽车工业重要发展方向的今天，Nullmax纽励凭借其创新的纯视觉自动驾驶技术，正积极推动这一技术的普及进程。与传统自动驾驶技术相比，Nullmax纽励的纯视觉…
8月21日，三星Galaxy新品媒体品鉴会登陆成都。三星第六代折叠屏手机Galaxy Z Fold6和Galaxy Z Flip6，以及三星Galaxy Ring、Galaxy W…
8月28-30日2024中国国际大数据产业博览会将在贵阳国际会议展览中心举办，华为擎云将携量子密话、安全终端、职业健康管理等商用终端及解决方案参展，助力数据要素价值充…
8月23日至25日，以“新质引领 创新共融”为主题的HICOOL 2024全球创业者峰会在中国国际展览中心举行。银河方圆集团作为昌平区优秀科技企业代表，携自主研发的优点星…
随着科技的飞速发展，智能驾驶已成为汽车行业不可逆转的趋势。据悉，问界新M7 Pro将与8月26日在鸿蒙智行新品发布会上正式上市，新车将以卓越的智能驾驶能力和全面升级的产品力，宣告“…
CCF理事说导语: 3M原则是CCF的立会之本，2023年10月29日，CCF第十三次会员代表大会以无记名投票、差额选举方式，选举产生了新一届理事会。理事会是会员代表大会的执行机构…
自《黑神话:悟空》上线以来，“电脑性能不足”成为许多玩家热议的话题，尤其对于台式机玩家而言，到底应该换新哪些装备如何操作成为一大难题。为了解决消费者面临的痛点，京东上线《黑神话:悟…
随着居民收入水平的提高和消费观念的转变，三星生活家电深刻洞察用户对于洗烘产品的品质、设计和智能化方面需求，推动行业向高端化、智能化和个性化方向发展。近日，三星BESPOKE缤色铂格…
这个人很懒，什么都没有留下～
免责声明：该文章系本站转载，旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议，仅供读者参考。
