Skip to content
Hot eventLive

全晶体管物理学习Transformer实现上下文学习

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月12日，arXiv机器学习理论方向的一手研究报道提出一种全晶体管物理学习Transformer，可在物理电路上被训练执行上下文学习。研究通过在双电路中引入额外电路元件恢复双向信息流，并利用亚阈值MOSFET的指数电流律构建注意力机制。仿真显示该电路可完成简单的上下文学习任务，但训练需采用交叉熵损失而非均方误差，并用基于MOSFET子电路的新型浮空元件生成扰动。电路中的电阻使用Lion优化器训练，每个参数用一颗电容存储历史梯度估计。目前进展仍停留在仿真验证阶段，报道未提及实物硬件验证或外部复现结果。

Generated from reports · updated 3 hr ago

LatestOct 12
新研究提出全晶体管物理学习Transformer，仿真显示可执行简单上下文学习任务。

Timeline

Follow the coverage from different angles.

Oct 12, 2026
  1. arXiv · Machine Learning Theory
    全晶体管物理学习 Transformer 可被训练执行上下文学习

    研究提出一种全晶体管物理学习 Transformer，通过在双电路中引入额外电路元件恢复双向信息流，并利用亚阈值 MOSFET 的指数电流律构建注意力机制。仿真显示该电路可完成简单的上下文学习任务，但需采用交叉熵损失而非均方误差，并用基于 MOSFET 子电路的新型浮空元件生成扰动。电路中的电阻使用 Lion 优化器训练，每个参数用一颗电容存储历史梯度估计。

Heat trend

There is not enough continuous observation data to draw a trend yet.