arXiv · Machine Learning Theory· Michael C. Abbott, Benjamin B. Machta·· 3 小时前AI 评分31
全晶体管物理学习 Transformer 可被训练执行上下文学习
An all-transistor physical-learning transformer can be trained to perform in-context learning
AI 导读
研究提出一种全晶体管物理学习 Transformer，通过在双电路中引入额外电路元件恢复双向信息流，并利用亚阈值 MOSFET 的指数电流律构建注意力机制。仿真显示该电路可完成简单的上下文学习任务，但需采用交叉熵损失而非均方误差，并用基于 MOSFET 子电路的新型浮空元件生成扰动。电路中的电阻使用 Lion 优化器训练，每个参数用一颗电容存储历史梯度估计。
来源：arXiv · Machine Learning Theory · arxiv.org