< Prev | Home | Model | Random | Next >

Model: SoLU Model: 10 Layers, 5120 Neurons per Layer

Dataset: The Pile

Neuron 5118 in Layer 4

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('solu-10l-pile')



Text #0

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.9417. Min Act: -0.0001

Data Index: 1047185 (The Pile)

Max Activating Token Index: 780

Click toggle to see full text

Truncated

u and D. O. Riska, Phys. Lett. B [**575**]{} (2003) 242. S. Sasaki, arXiv:hep-lat/0410016;\ 
R. D. Matheus and S. Narison, arXiv

Full Text #0

<|endoftext|>Le Yaouanc et al., Phys. Lett. B [**72**]{}, 57 (1977);\ 
E. Eichten et al., Phys. Rev. D [**21**]{}, 203 (1980). B. Aubert [*et al.*]{} \[BABAR Collaboration\], arXiv:hep-ex/0406022. N. A. T[รถ]{}rnqvist, arXiv:hep-ph/0308277; T. E. O. Ericson and G. Karl, Phys. Lett. B [**309**]{}, 426 (1993); A. V. Manohar and M. B. Wise, Nucl. Phys. B [**399**]{}, 17 (1993); E. Braaten and M. Kusunoki, Phys. Rev. D [**69**]{}, 074005 (2004); B. Julia-Diaz and D. O. Riska, arXiv:nucl-th/0405061. K. Abe [*et al.*]{} \[Belle Collaboration\], arXiv:hep-ex/0408126. R. Giles and S. H. H. Tye, Phys. Rev. D [**16**]{} (1977) 1079; D. Horn and J. Mandula, Phys. Rev. D [**17**]{} (1978) 898; P. Hasenfratz, R. R. Horgan, J. Kuti and J. M. Richard, Phys. Lett. B [**95**]{} (1980) 299. M. Bondioli \[BABAR Collaboration\], Nucl. Phys. Proc. Suppl.  [**133**]{}, 158 (2004). W. A. Bardeen, E. J. Eichten and C. T. Hill, Phys. Rev. D [**68**]{}, 054024 (2003);\ 
M. A. Nowak, arXiv:hep-ph/0407272. T. Barnes, F. E. Close and H. J. Lipkin, Phys. Rev. D [**68**]{}, 054006 (2003). A. V. Evdokimov [*et al.*]{} \[SELEX Collaboration\], arXiv:hep-ex/0406045. B. Aubert [*et al.*]{} \[BABAR Collaboration\], arXiv:hep-ex/0408087. B. Nicolescu and J. P. B. de Melo, arXiv:hep-ph/0407088; L. Maiani, F. Piccinini, A. D. Polosa and V. Riquer, Phys. Rev. D [**70**]{} (2004) 054009. P. Rossi \[CLAS Collaboration\], arXiv:hep-ex/0409057. C. Alt [*et al.*]{} \[NA49 Collaboration\], Phys. Rev. Lett.  [**92**]{} (2004) 042003. M. I. Adamovich [*et al.*]{}, Phys. Rev. C [**70**]{} (2004) 022201. D. Diakonov, arXiv:hep-ph/0406043, and refs. therein. F. Stancu and D. O. Riska, Phys. Lett. B [**575**]{} (2003) 242. S. Sasaki, arXiv:hep-lat/0410016;\ 
R. D. Matheus and S. Narison, arXiv:hep-ph/0412063. R. L. Jaffe, arXiv:hep-ph/0409065;\ 
M. Karliner and H. J. Lipkin, Phys. Lett. B [**575**]{} (2003) 249. D. B. Lichtenberg, arXiv:hep-ph/0406198. A. Martin, Z. Phys. C [**32**]{} (1986) 359. C. Gignoux, B. Silvestre-Brac and J.-M. Richard, Phys. Lett. B **193** (1987) 323; H.J. Lipkin, Phys. Lett. B195 (1987) 484. J. Carlson and V. R. Pandharipande, Phys. Rev. D [**43**]{} (1991) 1652. S. Nussinov and M. A. Lampert, Phys. Rept.  [**362**]{} (2002) 193. J.A. Wheeler, Ann. N.Y. 

Text #1

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.9797. Min Act: -0.0001

Data Index: 1297838 (The Pile)

Max Activating Token Index: 139

Click toggle to see full text

Truncated

Full Text #1


Text #2

Max Range: 1.0225. Min Range: -1.0225

Max Act: 1.0225. Min Act: -0.0001

Data Index: 360743 (The Pile)

Max Activating Token Index: 616

Click toggle to see full text

Truncated

Full Text #2


Text #3

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.9058. Min Act: -0.0001

Data Index: 1759394 (The Pile)

Max Activating Token Index: 337

Click toggle to see full text

Truncated

Full Text #3


Text #4

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.9075. Min Act: -0.0001

Data Index: 419386 (The Pile)

Max Activating Token Index: 747

Click toggle to see full text

Truncated

Full Text #4


Text #5

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8599. Min Act: -0.0001

Data Index: 1681830 (The Pile)

Max Activating Token Index: 828

Click toggle to see full text

Truncated

Full Text #5


Text #6

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.9127. Min Act: -0.0001

Data Index: 539947 (The Pile)

Max Activating Token Index: 638

Click toggle to see full text

Truncated

Full Text #6


Text #7

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8853. Min Act: -0.0001

Data Index: 400602 (The Pile)

Max Activating Token Index: 528

Click toggle to see full text

Truncated

Full Text #7


Text #8

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8685. Min Act: -0.0001

Data Index: 1549972 (The Pile)

Max Activating Token Index: 555

Click toggle to see full text

Truncated

Full Text #8


Text #9

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.9079. Min Act: -0.0001

Data Index: 144075 (The Pile)

Max Activating Token Index: 71

Click toggle to see full text

Truncated

Full Text #9


Text #10

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8132. Min Act: -0.0001

Data Index: 98358 (The Pile)

Max Activating Token Index: 178

Click toggle to see full text

Truncated

Full Text #10


Text #11

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8904. Min Act: -0.0001

Data Index: 1861592 (The Pile)

Max Activating Token Index: 242

Click toggle to see full text

Truncated

Full Text #11


Text #12

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8325. Min Act: -0.0001

Data Index: 1487735 (The Pile)

Max Activating Token Index: 449

Click toggle to see full text

Truncated

Full Text #12


Text #13

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.7870. Min Act: -0.0001

Data Index: 1689395 (The Pile)

Max Activating Token Index: 508

Click toggle to see full text

Truncated

Full Text #13


Text #14

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.7712. Min Act: -0.0001

Data Index: 1571541 (The Pile)

Max Activating Token Index: 595

Click toggle to see full text

Truncated

Full Text #14


Text #15

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.7798. Min Act: -0.0001

Data Index: 707824 (The Pile)

Max Activating Token Index: 238

Click toggle to see full text

Truncated

Full Text #15


Text #16

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8277. Min Act: -0.0001

Data Index: 1849359 (The Pile)

Max Activating Token Index: 597

Click toggle to see full text

Truncated

Full Text #16


Text #17

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.7284. Min Act: -0.0001

Data Index: 603659 (The Pile)

Max Activating Token Index: 642

Click toggle to see full text

Truncated

Full Text #17


Text #18

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.8012. Min Act: -0.0001

Data Index: 600078 (The Pile)

Max Activating Token Index: 346

Click toggle to see full text

Truncated

Full Text #18


Text #19

Max Range: 1.0225. Min Range: -1.0225

Max Act: 0.7893. Min Act: -0.0001

Data Index: 1055157 (The Pile)

Max Activating Token Index: 186

Click toggle to see full text

Truncated

Full Text #19