< Prev | Home | Model | Random | Next >

Model: SoLU Model: 10 Layers, 5120 Neurons per Layer

Dataset: 80% C4 (Web Text) and 20% Python Code

Neuron 5117 in Layer 8

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('solu-10l')



Text #0

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2652. Min Act: -0.0000

Data Index: 424083 (C4 (Web Text))

Max Activating Token Index: 254

Click toggle to see full text

Truncated

 adventures generally happen in my life, but oh, how spring sings to me this year. though ask me in a few months and ill say its summer again;) i went for my first run in months this morning! wow it feels good! i love that rubber leg feeling when you

Full Text #0

<|BOS|> paywall will prompt users to subscribe and pay. ~ Ads - Google AdWords for monetization (works best for sites with very large traffic) ~ Video ad serving, works best for with very high video content. 
At the moment of time, we make monthly payments to Movie commentators. we anticipate to make changes, to make these payments sooner. Payments are paid using PayPal, and wire transfers.<|EOS|>i just had deja-vu this morning. i was at the outdoor sink washing my hands and it sparked a memory of a dream i had of being here. isnt deja-vu wild? i used to get it a lot, and think of it as an affirmation of being where i am supposed to be. in the last many years though, i havent had it as much. you have to wonder about things sometimes, you know? 
so i think spring is my new favourite season. i thought it was summer because thats when my birthday is and when adventures generally happen in my life, but oh, how spring sings to me this year. though ask me in a few months and ill say its summer again;) i went for my first run in months this morning! wow it feels good! i love that rubber leg feeling when you finally stop running after you havent in so long. there is a great loop by my new place that is 4.8km long, the perfect length for me. and its SUNNY this morning!!!! eeeeee!!!!!! it was about 9 degrees celsius out, and i can smell the beginnings of summer. the sun hot on the pine needles covering the earth. i LOVE that smell. oh my goodness. what joy lies therein. and there are buds on everything! and a peacock crossed the road in front of me! ha ha hoo. yeah, i was pretty happy on that run. then i came home to yoga and soon to make breakfast before heading over to heathers for a visit and baby cuddling. its been great this first week on the new land i am renting. its lovely to be situated in the forest more, and i am enjoying the outdoor sink. the shower is good too, but more of a process, so it takes a bit of planning for a shower to happen. there isnt as ready access to uninhabited woods, which is a downer, but there is one road i havent tried yet. its been a very busy week though, so i havent had much time here, and have only gotten to the woods once. i am really addicted to playing the guitar right now, it is sucking up all spare moments, and even moments that are not so spare. currently iron & wine, iris dement, first aid kit and oh wonder are in rotation. i just discovered oh wonder, and their whole album is spectacular, so i printed out four of their songs to practice. i love the feeling that comes with words and music together. its healing. i have been working evening shift all week til 10pm, so i havent really had any evenings here, tonight will maybe be the 2nd one? work has been fabulous this week. all four of us casuals who got hired on/transferred here around the same time were working, and we kept each other laughing and listened to tunes all night. havent gotten in trouble for it yet;) its plant work – sorting packets and mail for the carriers in the day time. i dont like it as much as delivery, but we sure made the most of it, and the time passed fast. also, my co-worker emma speaks so similarly to carrie, one of my closest friends, that its uncanny, but not in a freaky way. they also have the same shape of mouth and face, so i wonder if that affects speech. but its more than that, its also inflection – they say certain words and phrases exactly the same way. at times during the night when i wasnt looking at her and she said something, it couldve been carrie speaking. its wild. and it makes her feel familiar to me, like she is already a friend. 
tomorrow i am going to visit an old friend in the gulf islands that i havent seen in years! i think it was about 8 years ago that she came through winnipeg and we had a visit. we met way back when i was hitching around the island when i was 18. she was living in ucluelet but working at the friends of clayoquot sound office in tofino when i wandered in to volunteer one day. she took me under her wing that night when she discovered i had no place to stay. off we went to her little apartment under twinkling christmas lights. we sipped tea and listened

Text #1

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2720. Min Act: -0.0000

Data Index: 168101 (C4 (Web Text))

Max Activating Token Index: 926

Click toggle to see full text

Truncated

Full Text #1


Text #2

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2616. Min Act: -0.0000

Data Index: 219633 (C4 (Web Text))

Max Activating Token Index: 287

Click toggle to see full text

Truncated

Full Text #2


Text #3

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2508. Min Act: -0.0000

Data Index: 131982 (C4 (Web Text))

Max Activating Token Index: 972

Click toggle to see full text

Truncated

Full Text #3


Text #4

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2443. Min Act: -0.0000

Data Index: 1132534 (C4 (Web Text))

Max Activating Token Index: 272

Click toggle to see full text

Truncated

Full Text #4


Text #5

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2512. Min Act: -0.0000

Data Index: 1179505 (C4 (Web Text))

Max Activating Token Index: 769

Click toggle to see full text

Truncated

Full Text #5


Text #6

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2470. Min Act: -0.0000

Data Index: 767590 (C4 (Web Text))

Max Activating Token Index: 237

Click toggle to see full text

Truncated

Full Text #6


Text #7

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2459. Min Act: -0.0000

Data Index: 1176422 (C4 (Web Text))

Max Activating Token Index: 664

Click toggle to see full text

Truncated

Full Text #7


Text #8

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2471. Min Act: -0.0000

Data Index: 312807 (C4 (Web Text))

Max Activating Token Index: 535

Click toggle to see full text

Truncated

Full Text #8


Text #9

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2464. Min Act: -0.0000

Data Index: 802996 (C4 (Web Text))

Max Activating Token Index: 683

Click toggle to see full text

Truncated

Full Text #9


Text #10

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2471. Min Act: -0.0000

Data Index: 1064009 (C4 (Web Text))

Max Activating Token Index: 243

Click toggle to see full text

Truncated

Full Text #10


Text #11

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2440. Min Act: -0.0000

Data Index: 745737 (C4 (Web Text))

Max Activating Token Index: 105

Click toggle to see full text

Truncated

Full Text #11


Text #12

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2247. Min Act: -0.0000

Data Index: 422903 (C4 (Web Text))

Max Activating Token Index: 195

Click toggle to see full text

Truncated

Full Text #12


Text #13

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2243. Min Act: -0.0000

Data Index: 87089 (C4 (Web Text))

Max Activating Token Index: 543

Click toggle to see full text

Truncated

Full Text #13


Text #14

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2399. Min Act: -0.0000

Data Index: 797645 (C4 (Web Text))

Max Activating Token Index: 1000

Click toggle to see full text

Truncated

Full Text #14


Text #15

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2303. Min Act: -0.0000

Data Index: 25117 (C4 (Web Text))

Max Activating Token Index: 497

Click toggle to see full text

Truncated

Full Text #15


Text #16

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2370. Min Act: -0.0000

Data Index: 339775 (C4 (Web Text))

Max Activating Token Index: 32

Click toggle to see full text

Truncated

Full Text #16


Text #17

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2354. Min Act: -0.0000

Data Index: 686157 (C4 (Web Text))

Max Activating Token Index: 590

Click toggle to see full text

Truncated

Full Text #17


Text #18

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2352. Min Act: -0.0000

Data Index: 1271855 (C4 (Web Text))

Max Activating Token Index: 368

Click toggle to see full text

Truncated

Full Text #18


Text #19

Max Range: 0.2720. Min Range: -0.2720

Max Act: 0.2285. Min Act: -0.0000

Data Index: 705099 (C4 (Web Text))

Max Activating Token Index: 999

Click toggle to see full text

Truncated

Full Text #19