laya mlx

产品简介

laya mlx 是 laya 面向 Apple silicon 的原生 MLX FP16 转换版，用于将文本请求转换为结构化决策结果。它在 Hugging Face 发布，采用 Apache-2.0 许可证。

核心能力

• 使用 laya-mlx 运行时，在 MLX 中完成计算。
• 支持 choice、ordinal score 和 boolean noul 问题。
• 基于 ModernBERT-large，512-token 总上下文。
• 保留 FP16 权重，可选择 dtype=float32；不需要 PyTorch 或 Transformers。

使用与限制

在 macOS 14+、Python 3.11+ 的 Apple silicon Mac 上安装运行时，加载 aac6fef/laya-mlx，并把文本和 typed question 字典传给 agent.predict，再从 result["answers"] 读取结果。官网示例处理部门选择和退款判断。模型卡报告了 Apple M3 Max 上的 63/63 argmax 一致性、0.0054443 最大概率差和 100 次确定性调用；这些是移植验证，不是答案正确性保证。模型不包含训练实现，非英语任务应考虑 multilingual checkpoint。

定价与可用性

没有公布付费套餐或托管推理服务，本条目按免费模型归类。模型可从 Hugging Face 下载，页面标记 MLX、Safetensors、English、Apple silicon 和 decision-model。

Screenshots