Sparse AutoencoderでGPT-2の感情を操る
OpenAIのPretrained SAEでGPT-2内部の感情Featureを発見し、SAEをゼロから学習するまで。Feature Patchingで’good person’を’shit’に変える実験。
Posts
K-means, GMM, EM：クラスタリングの三重マトリョーシカ
K-meansは実はGMMの極端なケースであり、GMMはEMアルゴリズムの代表的な応用である。三つがどのように一つのフレームワークで繋がるのか、そして情報幾何学がこの関係をどう説明するのかを直感的に解説する。
情報幾何学：AIはどのように「最も効率的に」学ぶのか
ニュートンのF=maが物理世界を説明するように、情報幾何学はAIの学習過程を説明します。初心者向けの直感的な解説。