< Prev | Home | Model | Random | Next >

Model: SoLU Model: 8 Layers, 4096 Neurons per Layer

Dataset: 80% C4 (Web Text) and 20% Python Code

Neuron 1 in Layer 5

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('solu-8l')



Text #0

Max Range: 2.2770. Min Range: -2.2770

Max Act: 2.2770. Min Act: -0.0001

Data Index: 843926 (C4 (Web Text))

Max Activating Token Index: 1018

Click toggle to see full text

Truncated

The Cyprus Strollers were brimming with freshness and youthfulness once more, on the hike of Saturday 22 October on Madari, from Selladi to Doxa si o Theos and back. Not only did we feature probably the youngest Walk leader among all

Full Text #0

<|BOS|>-regulation and accountability (19%). 
Additionally, the survey found that 70% of consumers are willing to pay a premium for products from socially responsible companies. In fact, 28% are willing to pay at least $10 more. That means companies have an opportunity to differentiate themselves if they can communicate clearly how they give back to their employees, communities, and the environment, per the survey. 
Originally I wrote this post at duffypov.com when I was still with Duffy & Partners more than a year ago. But it feels more right than ever before as all of us and society at large have been forced by the recession to consider exactly what it means to consume. And where it fits in each persons values set. 
Ok, its a new day. The term “consumer must be purged from any organizational lexicon. Shame on marketers who insist on putting such an arbitrary generalized term on the people they are trying to attract. As if “consumers live in some petri dish to be probed, prodded and tested. 
The term consumer presumes people are put on this earth solely to buy stuff. How disrespectful to only think of “consumers in a way that would suggest what they will do for me economically, not what we can do for them. 
We are people. With laughs and tears, dreams and hopes, and a desire to express our individuality in the context of having positive relationships with others and the world around us. 
Consumers? How about people? The best brands recognize the difference. In a world increasingly focused on sustainability, brands that respect people as people first will be the ones that are rewarded withyes purchasesbut importantly loyal customers.<|EOS|>The work The ink bridge represents a distinct intellectual or artistic creation found in Randwick City Library. This resource is a combination of several types including: Work, Language Material, Books. 
Queensland Literary Awards, Young Adult Book Award, 2012.<|EOS|>William Strunk wrote (E.B White edited and added to) a small book called The Elements of Style. It's filled with practical points for becoming a better writer, and it's a necessity for every writer's tool belt. It's not wishy washy, indefinite, or outdated, even though it's nearing 100 years old. 
Much of it is instantly applicable, but (in my opinion) nothing more than the directive regarding word usage. 
Writing is any man's game, but not every man's masterpiece. Needless words separate the mediocre from the good, and the good from the great. 
#) Edit. Seldom is anything slim enough in the first draft. Or the fourth. Or the seventh. Put it aside for a few days, then come back to it. Several times. You'll be surprised at all the unnecessary words you use. 
#) Give yourself a word count. In college I took an editing class. We had a guest lecture from a teacher who gave us the assignment to condense a famous 350 word story into 100 words or less, but preserve the intended meaning. It was difficult, but not impossible. Having a limit is a good way to learn discernment. If you're thinking does this phrase really matter, it's likely that it doesn't. 
#) Say it a few different ways. Good writers will come up with several ways to say something before they settle on their favorite, or combine a few of them. This ensures the best content and the best style. 
#) Be hard on yourself. All through high school I had a running joke that letting people edit my writing was like watching them kill my children. Morbid, I know. But every writer knows the feelingwatching words get cut is like waiting in line for cake for four hours, and watching the person in front of you walk away with the last piece. It's miserable, hopeless, and depressing. But when your final draft is slick and clean, it's worth it. 
#) Practice. It wouldn't be one of my how-to lists if I didn't tell you to practice. Ballerinas don't get good sitting on the couch. Chefs won't improve if they only make instant pudding and grilled cheese. Children don't learn how to walk without falling over. A lot of times. 
Get rid of those words. Nobody wants them anyway. 
Purchase The Elements of Style. If you don't own a copy, you need one. Non-negotiable.<|EOS|>To Life – Persephone hike 30 Oct. 
Probably the Most Youthful Hiking Club – Madari Hike 22 Oct. 
The Cyprus Strollers were brimming with freshness and youthfulness once more, on the hike of Saturday 22 October on Madari, from Selladi to Doxa si o Theos and back. Not only did we feature probably the youngest Walk leader among all

Text #1

Max Range: 2.2770. Min Range: -2.2770

Max Act: 2.1460. Min Act: -0.0001

Data Index: 1178104 (C4 (Web Text))

Max Activating Token Index: 577

Click toggle to see full text

Truncated

Full Text #1


Text #2

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.8323. Min Act: -0.0001

Data Index: 189095 (C4 (Web Text))

Max Activating Token Index: 383

Click toggle to see full text

Truncated

Full Text #2


Text #3

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.8210. Min Act: -0.0001

Data Index: 17899 (C4 (Web Text))

Max Activating Token Index: 438

Click toggle to see full text

Truncated

Full Text #3


Text #4

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.7608. Min Act: -0.0001

Data Index: 415083 (C4 (Web Text))

Max Activating Token Index: 89

Click toggle to see full text

Truncated

Full Text #4


Text #5

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.6887. Min Act: -0.0001

Data Index: 868609 (C4 (Web Text))

Max Activating Token Index: 559

Click toggle to see full text

Truncated

Full Text #5


Text #6

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.7056. Min Act: -0.0001

Data Index: 91079 (C4 (Web Text))

Max Activating Token Index: 109

Click toggle to see full text

Truncated

Full Text #6


Text #7

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.6549. Min Act: -0.0000

Data Index: 636812 (C4 (Web Text))

Max Activating Token Index: 344

Click toggle to see full text

Truncated

Full Text #7


Text #8

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.6105. Min Act: -0.0000

Data Index: 1238182 (C4 (Web Text))

Max Activating Token Index: 39

Click toggle to see full text

Truncated

Full Text #8


Text #9

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.6377. Min Act: -0.0000

Data Index: 760540 (C4 (Web Text))

Max Activating Token Index: 193

Click toggle to see full text

Truncated

Full Text #9


Text #10

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.6259. Min Act: -0.0001

Data Index: 1193439 (C4 (Web Text))

Max Activating Token Index: 43

Click toggle to see full text

Truncated

Full Text #10


Text #11

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.5294. Min Act: -0.0001

Data Index: 589453 (C4 (Web Text))

Max Activating Token Index: 394

Click toggle to see full text

Truncated

Full Text #11


Text #12

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.5324. Min Act: -0.0001

Data Index: 95973 (C4 (Web Text))

Max Activating Token Index: 506

Click toggle to see full text

Truncated

Full Text #12


Text #13

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.6660. Min Act: -0.0000

Data Index: 708977 (C4 (Web Text))

Max Activating Token Index: 790

Click toggle to see full text

Truncated

Full Text #13


Text #14

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.5724. Min Act: -0.0001

Data Index: 537405 (C4 (Web Text))

Max Activating Token Index: 653

Click toggle to see full text

Truncated

Full Text #14


Text #15

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.4010. Min Act: -0.0001

Data Index: 727281 (C4 (Web Text))

Max Activating Token Index: 713

Click toggle to see full text

Truncated

Full Text #15


Text #16

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.5100. Min Act: -0.0000

Data Index: 829530 (C4 (Web Text))

Max Activating Token Index: 755

Click toggle to see full text

Truncated

Full Text #16


Text #17

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.5922. Min Act: -0.0001

Data Index: 276423 (C4 (Web Text))

Max Activating Token Index: 873

Click toggle to see full text

Truncated

Full Text #17


Text #18

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.5037. Min Act: -0.0001

Data Index: 591423 (C4 (Web Text))

Max Activating Token Index: 63

Click toggle to see full text

Truncated

Full Text #18


Text #19

Max Range: 2.2770. Min Range: -2.2770

Max Act: 1.4850. Min Act: -0.0001

Data Index: 1171679 (C4 (Web Text))

Max Activating Token Index: 487

Click toggle to see full text

Truncated

Full Text #19