加拿大AI就业市场转向青睐专业化技能
Vector Institute报告显示2018至2023年加拿大核心AI技能需求增长37%,机器学习、深度学习及AI伦理治理相关岗位需求上升。运维AI系统与管理机器学习项目的招聘需求分别增长48%和60%。加拿大AI人才储备充足,但需加强AI治理能力与跨领域应用能力以维持竞争力。
Vector Institute报告显示2018至2023年加拿大核心AI技能需求增长37%,机器学习、深度学习及AI伦理治理相关岗位需求上升。运维AI系统与管理机器学习项目的招聘需求分别增长48%和60%。加拿大AI人才储备充足,但需加强AI治理能力与跨领域应用能力以维持竞争力。
TensorFlow 2.18 发布,亮点包括支持 NumPy 2.0、LiteRT 代码库迁移、Hermetic CUDA 以及 CUDA 内核更新。NumPy 2.0 可能改变计算精度并引发类型错误,迁移指南已更新。CUDA 内核不再支持 compute capability 5.0,最低预编译支持为 Pascal(6.0),Maxwell 需用 TF 2.16 或从源码编译。
Vector Institute 发布了多模态数据集 Newsmediabias-plus(NMB+),包含约 90,000 篇新闻文章,覆盖文本与图像,并附带偏见分类和发布详情。该数据集面向学术研究者、NGO 及社会导向团队,用于检测虚假信息、分析媒体偏见及训练公平性模型。数据集在 Hugging Face 上以非商业许可开放。
IBM Granite 3.0 的 2B、8B 密集模型与 1B、3B MoE 模型已可在 Ollama 中运行,均采用 Apache 2.0 许可证。
推荐理由:原文给出具体模型与开放入口,读者可据此判断是否适合本地低延迟部署。
Vector Institute 营销团队通过定制生成式 AI 接口实现自动化,每年节省约 1,750 小时。12 周试点期间每位成员平均每周节省 5 小时,同时提升内容产出效率与创意水平。团队已将应用扩展至其他部门,并计划向全机构推广。
Vector Institute研究显示,基于Word2Vec和语言特征的简单AI模型在ADReSS数据集上以92%准确率和100%灵敏度检测阿尔茨海默病,性能超过微调的BERT和GPT-2等上下文模型。该方法结合词向量与34项语言特征,可解释性强、计算效率更高,未来需在不同人群和临床场景中进一步验证。
推荐理由:用简单词向量加语言特征就能在ADReSS上达到92%准确率,为低成本、可解释的阿尔茨海默筛查提供新思路。
Justin Yang 通过 Vector 应用 AI 实习项目获得实践经验,最终在 TELUS 拿到负责 AI 的技术架构师职位。实习期间他参与 FL4Health 项目中的联邦学习与差分隐私工作,并通过 I.M.P.A.C.T. 导师计划和 Vector 数字人才中心建立行业联系。
Geoffrey Hinton 与 John J. Hopfield 因「为人工神经网络的机器学习奠定基础的发现和发明」共享 2024 年诺贝尔物理学奖。Hinton 是 Vector Institute 联合创始人、多伦多大学计算机科学名誉教授,其方法基于 Hopfield 的模式保存与重建技术,成为当今大型人工神经网络的关键基础。
推荐理由:Hinton获奖及其学生网络为加拿大AI生态提供背景,读者可借此理解学术传承与产业影响力的关联。
Vector Institute 研究人员开发了一款基于检索的加拿大航空旅客权益聊天机器人,使用 GPT-4 进行查询分解与去上下文化,并采用 OpenAI embeddings 进行密集检索,从官方文档中提取相关条款直接呈现给用户。
Meta Llama 3.2 现可通过 Ollama 运行,提供 1B/3B 文本模型与 11B/90B 视觉模型。1B 和 3B 面向移动端与边缘设备本地部署,用于构建个性化端侧智能体;11B 和 90B 支持图像推理、文档理解与图表分析。原文链接:https://ollama.com/blog/llama3.2
推荐理由:原文给出本地部署入口和模型规格,读者可据此判断它对端侧隐私和即时响应的实际影响。
Bespoke Labs 发布 Bespoke-Minicheck 并已在 Ollama 上线,用于核查其他模型生成的事实性输出以减少幻觉。其通过对比文档与生成声明,输出 Yes 或 No;在 RAG 场景中可作为后处理步骤确保回答基于检索上下文。示例与代码见 GitHub。
Vector 实习生 OJ Onyeagwu 为 Partner Portal 构建了基于 Flask API 和向量数据库的语义搜索系统,并引入内容推荐轮播与 Coherent Re-rank 端点。系统根据用户 AI 技能水平与行业提供个性化推荐,数据管道在 GCP 上运行并同步 WordPress、Vimeo 与 arXiv 数据。Qdrant 向量数据库存储嵌入向量以支持高效相似度搜索。
summary_zh: Vector Institute 举办第二届机器学习安全与隐私研讨会,汇聚 Faculty Members、Faculty Affiliates、Postdoctoral Fellows 及 wider Vector research community 研究人员,围绕 ML 安全与隐私的创新、趋势、工具及研究成果展开讨论。
Ollama 现在支持 Llama 3.1 等模型的工具调用,可通过 tools 字段提供可用工具并接收 tool_calls 响应。支持的模型包括 Llama 3.1、Mistral Nemo、Firefunction v2、Command-R+,OpenAI 兼容端点也已支持工具调用。
推荐理由:Ollama 为热门模型新增工具调用能力并开放 OpenAI 兼容接口,用户可据此快速接入外部工具。
TensorFlow 2.17 已发布,二进制包为计算能力 8.9 的 GPU(如 NVIDIA RTX 40 系列、L4、L40)提供专用 CUDA 内核,同时停止支持计算能力 5.0,预编译包最低支持 Pascal 架构(6.0)。TensorFlow 2.18 将放弃 TensorRT 支持,2.17 是最后一个包含 TensorRT 的版本,并将支持 Numpy 2.0。
Google Gemma 2 现已提供 2B、9B 和 27B 三种规格,采用全新架构,27B 参数在基准测试中超越两倍规模模型。Ollama 已支持运行 Gemma 2,并给出与 LangChain、LlamaIndex 的集成示例。
推荐理由:27B 参数在开放模型中实现超越更大模型的性能,为开源部署提供了新的效率标杆。
summary_zh: Continue 配合 Ollama 可在 VS Code 和 JetBrains 内本地运行开源 LLM 代码助手,支持自动补全与聊天。
Google 在 Google IO 2024 发布开源框架 Firebase Genkit,支持在 MacOS、Windows、Linux 及 Docker 容器中通过 Ollama 本地运行开源模型 Gemma。开发者可通过 npm install -g genkit 安装并使用 ollama pull gemma 下载模型,Genkit 默认运行在 localhost:4000。
Ollama 博客对比 Llama 3 8B 与 Llama 2 7B(均 4-bit 量化)在相同提示下的输出,显示 Llama 3 的虚假拒绝率不到 Llama 2 的三分之一。示例涵盖机场消磨时间、格式化硬盘、全球铀资源等提示,原文同时给出 Ollama 运行命令与参考来源链接。
Llama 3 现已可通过 Ollama 运行,数据集为 Llama 2 的七倍,上下文从 8K 翻倍至 16K,token 词汇表扩至 128K,误拒率低于 Llama 2 的三分之一,提供 8B 与 70B 两个版本。Meta 计划后续推出 400B 参数版本,并增加多模态、多语言和更长上下文等能力。
推荐理由:原文给出 Llama 3 在数据规模、上下文和 token 上的具体升级,以及与 Llama 2 的对比,读者可据此判断是否切换现有工作流。
TensorFlow 官方宣布 XNNPack 的全连接和卷积算子支持动态范围量化,Stable Diffusion 推理速度最高提升 6.2 倍,且无需校准数据集即可启用。从 TensorFlow 2.17 起,预编译二进制默认开启该能力。
推荐理由:原文给出动态量化在多个模型上的加速数据,读者可据此评估在旧设备上部署 AI 功能的可行性。
Ollama 支持 embedding 模型,可用于构建检索增强生成(RAG)应用,将文本提示与现有文档或其他数据结合。
Ollama 在 Windows 和 Linux 上推出 AMD 显卡预览支持,所有功能均可由 AMD 显卡加速。已支持 Radeon RX 7900 XTX、7900 XT、6950 XT、Vega 64、PRO W7900、Instinct MI300X 等系列显卡,更多型号即将推出。用户可下载 Ollama for Linux 或 Windows 开始使用。
TensorFlow 2.16 已发布,默认编译器改为 Clang 17(Windows CPU wheels),默认 Keras 版本升级为 Keras 3,并支持 Python 3.12。
Ollama 推出 Windows 预览版,支持拉取、运行和创建大语言模型,内置 NVIDIA GPU 与 AVX/AVX2 加速,无需配置或虚拟化。全量模型库可用,包括视觉模型如 LLaVA 1.6,支持拖图对话。API 默认在 localhost:11434 运行并兼容 OpenAI 接口,可通过 PowerShell 等工具直接调用。
Ollama 推出对 OpenAI Chat Completions API 的内置兼容支持,可使用 cURL、OpenAI Python/JS 库及 Vercel AI SDK、Autogen 等框架本地调用模型。
推荐理由:本地 Ollama 新增 OpenAI 兼容接口,开发者可沿用既有 SDK 与工具链对接本地模型。
TensorFlow GNN 1.0(TF-GNN)正式发布,是一个经过生产验证的、用于大规模构建图神经网络(GNN)的库。它支持在 TensorFlow 中进行建模和训练,并能从大型数据存储中提取输入图。TF-GNN 从底层构建,专为异构图设计,其中不同类型和关系由不同的节点和边集合表示。
LLaVA 1.6 支持最高 4 倍像素分辨率,并在文档、图表数据上训练以提升文本识别与推理能力。模型提供 7B、13B、34B 三种参数规模,采用 Apache 2.0 或 LLaMA 2 Community License 发布,可通过 ollama run llava:7b/13b/34b 调用。
summary_zh: Ollama 正式发布 Python 和 JavaScript 官方库,可通过 pip install ollama 和 npm install ollama 安装,仅需几行代码即可将应用与 Ollama 集成。
TensorFlow 2.15.0 的 Python 包在 pip install tensorflow[and-cuda] 安装时错误依赖 tensorrt,导致部分用户安装失败或回退到 2.14。
TensorFlow Blog 宣布 TensorFlow Lite 的 XNNPack 后端支持半精度(FP16)推理,在 ARM CPU 上使浮点模型推理速度较 FP32 提升近 2 倍。
TensorFlow 2.15 已发布,Linux 的 NVIDIA CUDA 库通过 pip 安装升级到 CUDA 12.2,Windows x64/x86 默认启用 oneDNN CPU 优化。tf.function 类型全面可用,引入 TraceType、FunctionType 和 AtomicFunction;编译工具升级到 Clang 17.0.1 与 CUDA 12.2。
summary_zh: Google 于 2023 年 12 月 7 日举办第三届 Women in ML Symposium,线上参与时间为 9:30 am 至 1:00 pm PT。
summary_zh: Spotify 利用 TensorFlow 与 TF-Agents 构建离线 Spotify 模拟器,用于在真实上线前原型设计、分析和训练推荐智能体。
summary_zh: 开发者使用 TensorFlow 训练强化学习智能体并转换为 TFLite 模型,再通过 Flutter TFLite 插件在 Android 和 iOS 上运行 Plane Strike 游戏。
summary_zh: People of AI 发布第二季,由 Ashley Oldacre 与新搭档 Luiz Gustavo Martins 共同主持,聚焦生成式 AI 的爆发式增长与技术变革。
Jacob Lee 演示了如何在浏览器端使用本地模型和开源工具构建 RAG 应用:文档分块、Xenova Transformers.js 嵌入、Voy 向量存储,以及通过 Ollama 暴露本地 Mistral 7B 模型给 Web 应用,并提供了可运行的 Next.js 示例和 LangSmith 追踪链接。
Ollama 发布官方 Docker sponsored 开源镜像,简化通过 Docker 容器使用大语言模型的方式。所有与 LLM 的交互均在本地进行,不将私有数据发送给第三方。Mac 上建议以独立应用运行以获得 GPU 加速,Linux 上可在 Docker 容器内为 Nvidia GPU 提供 GPU 加速,并通过 REST API 与应用交互。
summary_zh: 文章演示了为 Obsidian 构建插件,利用 Llama Index 对笔记建立向量索引并持久化到本地存储,再通过 Ollama 调用 llama2 模型实现检索增强问答。
DeepSpeed 发布 ZeRO-Inference,通过权重量化与 KV cache 卸载实现 20 倍推理加速。该技术针对大语言模型推理优化,支持量化与卸载策略以降低显存占用。未在原文中给出具体模型版本、benchmark 分数、API 或开源信息。