Key Takeaway
- iPhone 17 Pro性能惊喜:本地高效跑8B模型(如Qwen3-8B,12 Token/s),达桌面级,超出预期;作者用PocketPal下载测试,推理流畅。
- 换机主要动机:港版512G(11750元),为eSIM激活便利(红茶eSIM,网络选项优先)和强视频拍摄(FX30补充,尝试新风格)。
- 端侧AI观点:AI普及需端侧落地,iPhone硬件Ready;不指望Apple Intelligence,欲微调4B/8B模型,盼优质iOS客户端支持本地/API。
iPhone 17 Pro居然能跑得动8B的大模型!这你敢信?
你来看,这个是Qwen3-8B。我用PocketPal从Hugging Face上下载的,Q4精度。这是我昨晚跑的测试,速度达到每秒12个Token。
我给你们看看实际推理的速度。问它一个简单的问题:天空为什么是蓝色的?看到了吗?算是比较流畅了吧。
在手机上能跑8B模型,这是什么概念?
你要知道,在此之前,消费级的设备,移动端一般是跑1.5B或者3B的模型;而桌面端则是7B、8B的模型起步,最高跑到70B就非常厉害了。
现在,iPhone 17 Pro居然摸到桌面端的尾巴了。这是我入手新机之前没有想到的。
我手里这台是512G的Pro,港版。我在淘宝找的代购,花了11750。当天买到,当晚就发顺丰。
其实我之前用这台iPhone 12 mini已经好多年了。这次决定换机,主要两个原因。
一是冲着eSIM去的。就像我在newtype星球里说的,如果能在大陆直接激活、使用某些eSIM服务的话,那在网络方面就多一个选项——这是我很重视的。我坚定认为:
网络、支付、身份这三样东西,放在十年的时间长度下来看,是非常底层的要素。优先级很高,一定要搞好。
最终这台港版的效果让我非常满意。
我用的是红茶的eSIM。打开数据漫游之后,直接可以使用。激活也很简单。我在newtype星球发过当时的截图。用相机扫描二维码,会自动跳到激活的页面,一分钟就搞定了。
这个话题我不方便展开讲。它的价值,懂的都懂。
第二点是冲着拍视频去的。
我现在的主力设备是正在用的FX30,搭配三颗适马的镜头。目前正在使用的,是1018 F2.8。虽然FX30只是入门级的电影机,但是画质已经足够顶了。
不过,固定机位拍摄是没问题。如果要拿它去拍些别的场景,总是不太方便。正好,这台iPhone 17 Pro的视频能力非常强。只要不是专业相机,那在画质上,它就是目前最好的。很适合我去尝试更多的内容风格。说实话,这么坐着唠叨了一百期视频,我早就腻了。
而能跑得动8B的大模型,算是一个意外收获。
我还是坚持一年多以前的观点:AI要普及,一定需要在端侧落地。你靠云端算力根本不可能满足那么广的需求。
但是很可惜,我都等快两年了,端侧AI还是不太给力,已经明显落后于整个大盘的发展了。
iPhone 17 Pro这个芯片的性能是个非常好的信号,说明在硬件上已经完全Ready了。它在本地跑大模型,已经不再是“能跑”的级别,而是可以高效、稳定地运行。
我突然有了一种想要微调模型的冲动。根据我自己的需求搞几个定制版的4B或者8B的模型,iPhone和Mac都可以在本地跑。
而且,训练用的数据集可以不断迭代。长期来看,这个积累会很有价值,就像笔记一样。
硬件没问题了,剩下就看软件和系统了。Apple Intelligence我是不指望了。我现在就希望能有谁抓紧出个好一点的客户端,同时支持本地运行和API调用。
等看到有我满意的iOS客户端,我会再出视频介绍。
OK,以上就是本期内容。想了解AI,想成为超级个体,想找到志同道合的人,就来我们newtype社群。那咱们下期见!