< Prev | Home | Model | Random | Next >

Model: GELU Model: 2 Layers, 2048 Neurons per Layer

Dataset: 80% C4 (Web Text) and 20% Python Code

Neuron 2046 in Layer 1

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('gelu-2l')

Text #0

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.3106. Min Act: -0.1700

Data Index: 1258931 (C4 (Web Text))

Max Activating Token Index: 269

Click toggle to see full text

Truncated

 2005. Molecular basis of azithromycin-resistant Pseudomonas aeruginosa biofilms. Antimicrob. Agents Chemother. 49:3858-3867. 
Gowda, A. T., N. M. Gowda, H. S

Full Text #0

<|BOS|> 64:847-867. 
De Kievit, T. R., M. D. Parkins, R. J. Gillis, R. Srikumar, H. Ceri, K. Poole, B. H. Iglewski, and D. G. Storey. 2001. Multidrug efflux pumps: expression patterns and contribution to antibiotic resistance in Pseudomonas aeruginosa biofilms. Antimicrob. Agents Chemother. 45:1761-1770. 
Domka, J., J. Lee, T. Bansal, and T. K. Wood. 2007. Temporal gene-expression in Escherichia coli K-12 biofilms. Environ. Microbiol. 9:332-346. 
Gillis, R. J., K. G. White, K. H. Choi, V. E. Wagner, H. P. Schweizer, and B. H. Iglewski. 2005. Molecular basis of azithromycin-resistant Pseudomonas aeruginosa biofilms. Antimicrob. Agents Chemother. 49:3858-3867. 
Gowda, A. T., N. M. Gowda, H. S. Gowda, and K. S. Rangappa. 1985. Application of azure C for the extractive spectrophotometric determination of microgram amounts of penicillin. J. Pharmacol. Methods 13:275-280. 
Heydorn, A., A. T. Nielsen, M. Hentzer, C. Sternberg, M. Givskov, B. K. Ersboll, and S. Molin. 2000. Quantification of biofilm structures by the novel computer program COMSTAT. Microbiology 146(Pt 10):2395-2407. 
Hottes, A. K., M. Meewan, D. Yang, N. Arana, P. Romero, H. H. McAdams, and C. Stephens. 2004. Transcriptional profiling of Caulobacter crescentus during growth on complex and minimal media. J. Bacteriol. 186:1448-1461. 
Liu, Z., F. R. Stirling, and J. Zhu. 2007. Temporal quorum-sensing induction regulates Vibrio cholerae biofilm architecture. Infect. Immun. 75:122-126. 
Marchler-Bauer, A., J. B. Anderson, P. F. Cherukuri, C. DeWeese-Scott, L. Y. Geer, M. Gwadz, S. He, D. I. Hurwitz, J. D. Jackson, Z. Ke, C. J. Lanczycki, C. A. Liebert, C. Liu, F. Lu, G. H. Marchler, M. Mullokandov, B. A. Shoemaker, V. Simonyan, J. S. Song, P. A. Thiessen, R. A. Yamashita, J. J. Yin, D. Zhang, and S. H. Bryant. 2005. CDD: a conserved domain database for protein classification. Nucleic Acids Res. 33:D192-D196. 
Pazin, M. J., and J. T. Kadonaga. 1997. SWI2/SNF2 and related proteins: ATP-driven motors that disrupt protein-DNA interactions? Cell 88:737-740. 
Prouty, A. M., W. H. Schwesinger, and J. S. Gunn. 2002. Biofilm formation and interaction with the surfaces of gallstones by Salmonella spp. Infect. Immun. 70:2640-2649. 
Rahmati, S., S. Yang, A. L. Davidson, and E. L. Zechiedrich. 2002. Control of the AcrAB multidrug efflux pump by quorum-sensing regulator SdiA. Mol. Microbiol. 43:677-685. 
Sakarya, S., G. T. Ertem, S. Oncu, I. Kocak, N. Erol, and S. Oncu. 2003. Escherichia coli bind to urinary bladder epithelium through nonspecific sialic acid mediated adherence. FEMS Immunol. Med. Microbiol. 39:45-50. 
Sukhodo

Text #1

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.1387. Min Act: -0.1700

Data Index: 599437 (C4 (Web Text))

Max Activating Token Index: 217

Click toggle to see full text

Truncated

Full Text #1

Text #2

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.1387. Min Act: -0.1700

Data Index: 768707 (C4 (Web Text))

Max Activating Token Index: 339

Click toggle to see full text

Truncated

Full Text #2

Text #3

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.1075. Min Act: -0.1699

Data Index: 641574 (C4 (Web Text))

Max Activating Token Index: 268

Click toggle to see full text

Truncated

Full Text #3

Text #4

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.0918. Min Act: -0.1700

Data Index: 947179 (C4 (Web Text))

Max Activating Token Index: 115

Click toggle to see full text

Truncated

Full Text #4

Text #5

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.0137. Min Act: -0.1700

Data Index: 110546 (C4 (Web Text))

Max Activating Token Index: 110

Click toggle to see full text

Truncated

Full Text #5

Text #6

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.0606. Min Act: -0.1700

Data Index: 1294779 (C4 (Web Text))

Max Activating Token Index: 64

Click toggle to see full text

Truncated

Full Text #6

Text #7

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.0137. Min Act: -0.1700

Data Index: 5588 (C4 (Web Text))

Max Activating Token Index: 96

Click toggle to see full text

Truncated

Full Text #7

Text #8

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9824. Min Act: -0.1700

Data Index: 1237028 (C4 (Web Text))

Max Activating Token Index: 59

Click toggle to see full text

Truncated

Full Text #8

Text #9

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9980. Min Act: -0.1700

Data Index: 518479 (C4 (Web Text))

Max Activating Token Index: 76

Click toggle to see full text

Truncated

Full Text #9

Text #10

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9824. Min Act: -0.1700

Data Index: 217629 (C4 (Web Text))

Max Activating Token Index: 87

Click toggle to see full text

Truncated

Full Text #10

Text #11

Max Range: 4.3106. Min Range: -4.3106

Max Act: 4.0137. Min Act: -0.1700

Data Index: 685439 (C4 (Web Text))

Max Activating Token Index: 408

Click toggle to see full text

Truncated

Full Text #11

Text #12

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9980. Min Act: -0.1700

Data Index: 572198 (C4 (Web Text))

Max Activating Token Index: 553

Click toggle to see full text

Truncated

Full Text #12

Text #13

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9511. Min Act: -0.1700

Data Index: 1030820 (C4 (Web Text))

Max Activating Token Index: 561

Click toggle to see full text

Truncated

Full Text #13

Text #14

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9511. Min Act: -0.1700

Data Index: 1322909 (C4 (Web Text))

Max Activating Token Index: 29

Click toggle to see full text

Truncated

Full Text #14

Text #15

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9511. Min Act: -0.1700

Data Index: 709615 (C4 (Web Text))

Max Activating Token Index: 189

Click toggle to see full text

Truncated

Full Text #15

Text #16

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9511. Min Act: -0.1700

Data Index: 394505 (C4 (Web Text))

Max Activating Token Index: 122

Click toggle to see full text

Truncated

Full Text #16

Text #17

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9511. Min Act: -0.1700

Data Index: 629521 (C4 (Web Text))

Max Activating Token Index: 66

Click toggle to see full text

Truncated

Full Text #17

Text #18

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.9199. Min Act: -0.1700

Data Index: 907272 (C4 (Web Text))

Max Activating Token Index: 330

Click toggle to see full text

Truncated

Full Text #18

Text #19

Max Range: 4.3106. Min Range: -4.3106

Max Act: 3.8886. Min Act: -0.1700

Data Index: 910597 (C4 (Web Text))

Max Activating Token Index: 167

Click toggle to see full text

Truncated

Full Text #19