TensorFlow Lite XNNPack 启用半精度推理,FP16 性能翻倍
TensorFlow Blog 宣布 TensorFlow Lite 的 XNNPack 后端支持半精度(FP16)推理,在 ARM CPU 上使浮点模型推理速度较 FP32 提升近 2 倍。
TensorFlow Blog 宣布 TensorFlow Lite 的 XNNPack 后端支持半精度(FP16)推理,在 ARM CPU 上使浮点模型推理速度较 FP32 提升近 2 倍。
TensorFlow 2.15 已发布,Linux 的 NVIDIA CUDA 库通过 pip 安装升级到 CUDA 12.2,Windows x64/x86 默认启用 oneDNN CPU 优化。tf.function 类型全面可用,引入 TraceType、FunctionType 和 AtomicFunction;编译工具升级到 Clang 17.0.1 与 CUDA 12.2。
summary_zh: Spotify 利用 TensorFlow 与 TF-Agents 构建离线 Spotify 模拟器,用于在真实上线前原型设计、分析和训练推荐智能体。
summary_zh: 开发者使用 TensorFlow 训练强化学习智能体并转换为 TFLite 模型,再通过 Flutter TFLite 插件在 Android 和 iOS 上运行 Plane Strike 游戏。
summary_zh: People of AI 发布第二季,由 Ashley Oldacre 与新搭档 Luiz Gustavo Martins 共同主持,聚焦生成式 AI 的爆发式增长与技术变革。
Ollama 发布官方 Docker sponsored 开源镜像,简化通过 Docker 容器使用大语言模型的方式。所有与 LLM 的交互均在本地进行,不将私有数据发送给第三方。Mac 上建议以独立应用运行以获得 GPU 加速,Linux 上可在 Docker 容器内为 Nvidia GPU 提供 GPU 加速,并通过 REST API 与应用交互。
summary_zh: Google 与 Tryolabs 发布开源 Python 库 Temporian,用于机器学习中时间序列数据的预处理与特征工程,并与 TensorFlow Decision Forests 配合训练预测模型。
summary_zh: TensorFlow 通过 DTensor API 原生支持分布式 FFT,用户只需将分片张量传入现有 FFT 操作(如 tf.signal.fft2d)即可,输出同样为分片张量。
Meta 今日发布 Code Llama,基于 Llama 2,在开放模型中提供最先进性能,支持代码填充、大上下文输入和编程任务零样本指令跟随。Code Llama 已上线 Ollama,提供 7B / 13B / 34B 三个参数版本,分别需要 16GB / 32GB 以上内存,并附带 Foundation 与 Python 两个专项分支。
TensorFlow Lite Flutter 插件已迁移至 TensorFlow GitHub 官方仓库并正式发布,支持在移动端、嵌入式、Web 和边缘设备本地运行 TensorFlow 模型。插件新增实时摄像头目标检测等功能,桌面端支持正在开发中。开发者可从 pub.dev 安装,并使用 Kaggle Models 等资源获取预训练模型。
TensorFlow 2.13 和 Keras 2.13 已发布,Apple Silicon wheels 首次亮相。Keras V3 格式成为 .keras 文件默认保存格式,提供更轻量、可读且安全的模型保存与加载。tf.data 新增 Dataset.zip 支持 Python 风格解包、Dataset.shuffle 支持全量打乱以及 pad_to_cardinality 转换。
Google Research 推出基于 TensorFlow Lite 的移动端胎儿超声评估模型,支持非专家通过盲扫协议获取孕周与胎位预测。模型在 Pixel 设备上实现 30 帧/秒以上实时推理,且无精度损失,并提供扫查质量反馈。
推荐理由:原文给出移动端实时推理速度与质量反馈机制,读者可据此评估该工具在低资源场景下的可用性。
summary_zh: Google 在 Google I/O 2023 将 PaLM API 以"public preview"形式开放,开发者可通过 PaLM API Chat 与 Text 服务在推荐系统中实现对话式推荐。
summary_zh: Google 将于 6 月 9 日在线举办首届推荐系统开发者峰会,TensorFlow 团队将分享 TensorFlow Recommenders、TensorFlow Ranking 和 TensorFlow Agents 等产品的使用经验。
summary_zh: Stanford AI Lab 将 NeurIPS 论文 BanditPAM 开源,通过多臂赌博机将 k-medoids 聚类算法从 O(n²) 加速至 O(n log n)。
summary_zh: jiant 2.0 是一个基于 Python 的自然语言理解研究库,支持 GLUE、SuperGLUE 和 XTREME 等基准任务,兼容 BERT、RoBERTa、ALBERT、ELECTRA、XLM-R 等 transformers 模型。