SRAM概念突然成为最强风口(附股)

近日SRAM概念成为风口,A股的睿能科技4连板,西测测试20CM两连板涨停,北京君正继昨日20%涨停后,今日一度涨超17%,光力科技、兆易创新、航宇微、光韵达、万润科技、好上好、恒烁股份等跟涨。消息面上,初创公司Groq的新款加速卡LPU

近日SRAM概念成为风口,A股的睿能科技4连板,西测测试20CM两连板涨停,北京君正继昨日20%涨停后,今日一度涨超17%,光力科技、兆易创新、航宇微、光韵达、万润科技、好上好、恒烁股份等跟涨。

消息面上,初创公司Groq的新款加速卡LPU在多个公开测试中,以几乎最低的价格,相比GPU推理速度翻倍,而LPU的内存采用了SRAM。

AI芯片公司Groq是由谷歌TPU第一代设计者乔纳森·罗斯(Jonathan Ross)于2016年所创立。该公司2月19日宣布,其大模型Groq每秒输出近500个token,成为全球最快大模型。ChatGPT-3.5每秒生成速度仅为40个token。

Groq如此之快,背后全靠其自研的LPU芯片,值得关注的是,与GPU使用高带宽存储器(HBM)不同,LPU使用的是静态随机存储器(SRAM)。    

虽然还没有正式发售,但LPU在多个公开测试中,以几乎最低的价格,相比GPU推理速度翻倍。后续有三方测试结果表明,该芯片对大语言模型推理进行优化效果显著,速度相较于英伟达GPU提高了10倍。

据Groq介绍,在LLM方面,LPU较GPU/CPU拥有更强大的算力,从而减少了每个单词的计算时间,可以更快地生成文本序列。此外,由于消除了外部内存瓶颈,LPU推理引擎在大模型上的性能比GPU高出几个数量级。

为了证明自家芯片的能力,Groq还在官网发布了免费的大模型服务,包括三个开源大模型,Mixtral 8×7B-32K、Llama2-70B-4K和Mistral 7B-8K,目前前两个已开放使用。    

RAM(Random Access Memory,随机存取存储器),也被人们称为主存,是直接连接CPU交换数据的内部存储器。它可以随时读写数据,而且读写速度快,常作为操作系统或者处于运行中的其他程序的临时存储介质。

RAM根据存储单元的工作原理不同分为SRAM和DRAM。    

SRAM(Static Random-Access Memory,静态随机存取存储器)不需要刷新电路就可以保存其内部存储的信息。SRAM通常由4-6个晶体管组成一个单元,当这个单元被赋予二进制状态之后,他会保持这个状态直到下次被赋予新的信息或者断电之后才会更改。SRAM是当下读写速度最快的存储器,因此价格十分昂贵,应用场景是CPU的L1、L2缓存。在1964发明了SRAM之后,又出现了非挥发性SRAM和异步SRAM等产品。

DRAM(Dynamic Random Access Memory,动态随机存取存储器)存储的数据只能保存很短的时间,所以需要定时刷新数据,与SRAM相比更加复杂,面积更小,成本更低,功耗也更小,但是数据保留时间较短和速度也相对较慢,但相较于ROM速度较快。


格隆汇声明:文中观点均来自原作者,不代表格隆汇观点及立场。特别提醒,投资决策需建立在独立思考之上,本文内容仅供参考,不作为实际操作建议,交易风险自担。

相关阅读

评论