在 M1Max 的 MacBook Pro 上跑 Apple 的 Ai 是否够用？主要是端侧大模型硬件性能是否够用
mikelirjc · 153 天前 · 2145 次点击这是一个创建于 153 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为现在 M1Max64G8T 也才 2w 左右，确实香
8 条回复 • 2024-07-02 17:53:08 +08:00
 |
1
ETCartman 153 天前 via iPhone
有点慢:(
|
 |
2
StinkyTofus 153 天前
M1 过时了， 买新不买旧
|
 |
3
seanzxx 153 天前 via iPhone
要真的用来跑 AI ，m1 的 NPU 太老了，m1 max 的算力也只有 m4 的三分之一，应该等等 m4 max 的 MacBook Pro
|
 |
4
Theigrams 153 天前
> With this set of optimizations, on iPhone 15 Pro we are able to reach time-to-first-token latency of about 0.6 millisecond per prompt token, and a generation rate of 30 tokens per second.
苹果的端侧模型才 3B ，M1 随便跑无压力 |
 |
5
rainbowmolly 153 天前
iphone 上可以跑 m1max 跑不了这个听起来不太可能吧
|
 |
6
dilidilid 153 天前
你说的端侧大模型是指啥？如果是指苹果自家上的模型的话肯定够用，如果是 SOTA 的开源大模型，就算能跑也快不了，哪怕是最新的 M3 Max 也就那么回事，不要有太高期待
|
|
8
seanzxx 151 天前
@a66243766
看 Spec 呀，算了，刚好手上有设备，用 GeekBench ML 跑个分。 设备： 1. MacBook Pro 2021, M1 Max, 64GB 2. iPad16,5, M4, 16GB 3. iPad 14,8, M2, 8GB 软件版本： 1. Geekbench ML 0.6.0 for macOS AArch64 2. Geekbench ML 0.6.0 for iOS AArch64 分数 (Core ML Neural Engine Inference Score)： 1. M1 Max: 8572 2. M4: 10219 3. M2: 7971 链接: 1. https://browser.geekbench.com/ml/v0/inference/402657 2. https://browser.geekbench.com/ml/v0/inference/402661 3. https://browser.geekbench.com/ml/v0/inference/402663 |
Select Language