#coding 最近 Vibe 了一个小玩具，可以在 iOS 端运行 llama.cpp 跑本地推理，也支持 OpenAI 的 API 格式，并且支持各种 Shortcuts 定制 System Prompts 直接从键盘里调用，欢迎大家自己编译体验

1. 4小时前

   Forwarded from 📢cyyself

   

   ×

   

   #coding 最近 Vibe 了一个小玩具，可以在 iOS 端运行 llama.cpp 跑本地推理，也支持 OpenAI 的 API 格式，并且支持各种 Shortcuts 定制 System Prompts 直接从键盘里调用，欢迎大家自己编译体验。近几天也会折腾一下 App Store 上架事宜。也用自己的设备测了下性能，Qwen 3.5-0.8B Q4在 iPhone 17 Pro 上大概 60tps，iPhone 13 Pro 上大概 20tps，也可以作为国行设备的 Apple Intelligence 缺少 Writing Tools 的替代品。 https://github.com/cyyself/opentihui