< Prev | Home | Model | Random | Next >

Model: SoLU Model: 10 Layers, 5120 Neurons per Layer

Dataset: 80% C4 (Web Text) and 20% Python Code

Neuron 1 in Layer 4

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('solu-10l')



Text #0

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1980. Min Act: -0.0001

Data Index: 788993 (C4 (Web Text))

Max Activating Token Index: 963

Click toggle to see full text

Truncated

 as well as Peace and Conflict Studies. Kay will be pursuing their Masters degree in Social Work. 
It has been a dream and a joy for them to be a part of such a great community providing sober living to amazing young individuals. Kay can relate to the participants and the struggles they face, because they

Full Text #0

<|BOS|>burg location, and is always excited to share his shopping adventures with us. His most recent find (and his favorite, so far) is a pair of Raf Simons sneakers, all black with a white sole. His style is more on the contemporary side, but when asked he explained that he has a bit of a kooky and weird side. He is all about textured sweaters and jackets right now, but in the summer its bright neon colors and pastels, but he wouldnt be caught dead in shorts.<|EOS|>Every week, Filippa K Circle invites inspiring people to share their current mindsets. This week fashion journalist Celine Aagaard shares her thoughts. 
My state of mind: In between. Ive just put my son to bed, and tomorrow Im off to Paris to cover fashion week for Envelope.no. I love the contrasts in life, but after I became a mother I do have a love-hate relationship to all my traveling. 
I feel the most balanced when: Im doing my yoga in the morning and feeling focused, not letting other things or people stress and distract me. Life is all about yin and yang, and that goes for everything from work to family and friendshipseven getting dressed. 
In relation to fashion, I have learned not to: Go with the flow, say yes to everything or buy stuff just because theyre on trend. Who says you need this seasons trench coat if you can just as easily find a vintage one thats twice as nicewith shoulder pads and the best silhouetteand at the same time support a good cause? 
My best DIY tip for making every day more sustainable: Dont talk about it, do it! Take your bike instead of the car, dont eat meat, shop vintage and recycle. Bring your tote bags to the grocery store instead of getting yet another plastic bag, support the local industries and cook your food from scratch. 
I cannot live without: My family, green juice, music andthough I hate to admit itmy phone. Its sad, but true. 
Im currently reading/watching: ‘One thing’. Its a book I gave my boyfriend for his birthday, but Ill admit I might need it more than he does. Its about how to revive your energy, achieve better results in less time and increase your income in order to get a better lifestyle. 
My eco-fashion prediction: Well buy more vintage and go for the sustainable choices. Recycle, and reuse! 
My favorite organic/natural beauty product: Green peel by Dr. Schrammek. 
My forever-favorite piece of clothing: My first pair of Levis 501 jeans is still one of my favorite pieces. I also have a pair of white sequin pants that where made in what used to be East Berlin. I bought them in a vintage shop in London about 20 years ago. 
This is priceless to me: Those small everyday moments when Im together with my son and boyfriend at home making up jokes, listening to music, dancing or just doing nothing. Or the family skateboarding on a Sundays, summer vacations in Cadaqués and winter getaways in the mountains. These things are priceless to me. 
Follow Celine Aagaard here and here.<|EOS|>Roku pioneered streaming for the TV, and they aspire to power every TV in the world. Roku developed a streaming platform that delivers a best-in-class user experience. At the heart of the Roku platform is their proprietary operating system, the Roku OS, which they built from the ground up. Roku is recognized for streaming innovation. This is demonstrated by their growing, passionate and highly engaged customer base who love Roku streaming devices because of their coveted content selection, ease of use, and value.<|EOS|>Kay was born and raised in a small town called Highland, IN and grew up just outside of Chicago. They moved to Boulder over two years ago and started their first journey with AIM House in May of 2013. Kay went off to work as a deckhand in the summer of 2015, and then focused on studies at Front Range Community College. They are currently finishing their last semester at University of Colorado, Boulder getting their Bachelors in Geography as well as Peace and Conflict Studies. Kay will be pursuing their Masters degree in Social Work. 
It has been a dream and a joy for them to be a part of such a great community providing sober living to amazing young individuals. Kay can relate to the participants and the struggles they face, because they too have faced similar struggles. In Kays free time, they love to be with their family and dogs, along with playing outdoors either hiking or kayaking.<|EOS|>This video was created in the 2016-17 School year because

Text #1

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1699. Min Act: -0.0001

Data Index: 1166838 (C4 (Web Text))

Max Activating Token Index: 66

Click toggle to see full text

Truncated

Full Text #1


Text #2

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1691. Min Act: -0.0001

Data Index: 717314 (C4 (Web Text))

Max Activating Token Index: 732

Click toggle to see full text

Truncated

Full Text #2


Text #3

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1565. Min Act: -0.0001

Data Index: 650044 (C4 (Web Text))

Max Activating Token Index: 341

Click toggle to see full text

Truncated

Full Text #3


Text #4

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1494. Min Act: -0.0001

Data Index: 749137 (C4 (Web Text))

Max Activating Token Index: 423

Click toggle to see full text

Truncated

Full Text #4


Text #5

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1427. Min Act: -0.0001

Data Index: 199053 (C4 (Web Text))

Max Activating Token Index: 378

Click toggle to see full text

Truncated

Full Text #5


Text #6

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1373. Min Act: -0.0001

Data Index: 387985 (C4 (Web Text))

Max Activating Token Index: 98

Click toggle to see full text

Truncated

Full Text #6


Text #7

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1402. Min Act: -0.0001

Data Index: 1290673 (C4 (Web Text))

Max Activating Token Index: 644

Click toggle to see full text

Truncated

Full Text #7


Text #8

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1445. Min Act: -0.0001

Data Index: 749613 (C4 (Web Text))

Max Activating Token Index: 928

Click toggle to see full text

Truncated

Full Text #8


Text #9

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1487. Min Act: -0.0001

Data Index: 1099582 (C4 (Web Text))

Max Activating Token Index: 403

Click toggle to see full text

Truncated

Full Text #9


Text #10

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1359. Min Act: -0.0001

Data Index: 704467 (C4 (Web Text))

Max Activating Token Index: 140

Click toggle to see full text

Truncated

Full Text #10


Text #11

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1250. Min Act: -0.0000

Data Index: 28244 (C4 (Web Text))

Max Activating Token Index: 716

Click toggle to see full text

Truncated

Full Text #11


Text #12

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1331. Min Act: -0.0001

Data Index: 499109 (C4 (Web Text))

Max Activating Token Index: 74

Click toggle to see full text

Truncated

Full Text #12


Text #13

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1378. Min Act: -0.0001

Data Index: 642676 (C4 (Web Text))

Max Activating Token Index: 205

Click toggle to see full text

Truncated

Full Text #13


Text #14

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1335. Min Act: -0.0001

Data Index: 543573 (C4 (Web Text))

Max Activating Token Index: 389

Click toggle to see full text

Truncated

Full Text #14


Text #15

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1372. Min Act: -0.0001

Data Index: 293244 (C4 (Web Text))

Max Activating Token Index: 317

Click toggle to see full text

Truncated

Full Text #15


Text #16

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1415. Min Act: -0.0001

Data Index: 1124892 (C4 (Web Text))

Max Activating Token Index: 84

Click toggle to see full text

Truncated

Full Text #16


Text #17

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1403. Min Act: -0.0001

Data Index: 153039 (C4 (Web Text))

Max Activating Token Index: 588

Click toggle to see full text

Truncated

Full Text #17


Text #18

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1302. Min Act: -0.0001

Data Index: 1141156 (C4 (Web Text))

Max Activating Token Index: 733

Click toggle to see full text

Truncated

Full Text #18


Text #19

Max Range: 0.1980. Min Range: -0.1980

Max Act: 0.1294. Min Act: -0.0001

Data Index: 1079647 (C4 (Web Text))

Max Activating Token Index: 640

Click toggle to see full text

Truncated

Full Text #19