laya mlx
Run Laya’s typed decision model on Apple silicon with MLX FP16 for structured choice, ordinal-score, and boolean predictions without PyTorch or Transformers.
AIDeveloper ToolUtility
Screenshots
Overview
产品简介
laya mlx 是 convaiinnovations/laya 面向 Apple silicon 的原生 MLX FP16 转换版本。它提供 Laya 的决策 Transformer、评分头和动作头，用于把文本请求映射为结构化的 typed decision 结果。模型托管在 Hugging Face，许可证为 Apache-2.0。
核心能力
- 通过专用 laya-mlx 运行时加载，模型计算完全在 MLX 中执行。
- 支持 choice、ordinal score 和 boolean noul 三类问题。
- 使用 ModernBERT-large，输入状态与问题共享 512-token 总上下文。
- 保留 FP16 权重，可用 dtype=float32 获得更接近上游 FP32 运算的结果。
- 不需要 PyTorch 或 Transformers；它不是生成式语言模型，也不包含训练实现。
使用流程
- 在 macOS 14+、Python 3.11+ 的 Apple silicon Mac 上安装 laya-mlx。
- 使用 laya.load 加载 aac6fef/laya-mlx。
- 将文本请求和包含 instructions、criteria 或 options 的问题字典传给 agent.predict。
- 从 result["answers"] 读取结构化答案。官网示例将重复扣款请求分配给 billing、technical 或 sales 部门，并判断客户是否要求退款。
验证、适用场景与限制
模型卡记录了 Apple M3 Max、MLX 0.32.2 上的本地测试：16 个案例的 63/63 决策分布取得相同 argmax，最大校准概率差为 0.0054443，连续调用产生确定性输出，并检查了导出张量与源张量转为 FP16 后的精确相等。这些数据说明移植一致性，不代表每个模型答案都正确。模型面向上游 typed-decision 工作流；模型质量、校准和语言/任务限制仍取决于原始检查点，非英语文本应考虑官方提到的 multilingual checkpoint。
定价与可用性
官网没有公布付费套餐或托管推理服务，因此本条目按免费模型归类。模型可从 Hugging Face 下载，页面标记为 MLX、Safetensors、English、Apple silicon 和 decision-model；当前没有 Inference Provider 部署。
Screenshots
