< Prev | Home | Model | Random | Next >

Model: GPT-2 Large: 36 Layers, 5120 Neurons per Layer

Dataset: Open Web Text

Neuron 2 in Layer 7

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('gpt2-large')



Text #0

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.2988. Min Act: -0.1700

Data Index: 6358155 (Open Web Text)

Max Activating Token Index: 56

Click toggle to see full text

Truncated

Not if you don't know where it is, you twit! We'll all go, we'll dress and act as Muggles and disappear into the crowds. We could do with a brisk walk after being cooped up together." 
 
Potter brought out the clothes he had purchased. When

Full Text #0

<|endoftext|> minutes." 
 
"Not if you don't know where it is, you twit! We'll all go, we'll dress and act as Muggles and disappear into the crowds. We could do with a brisk walk after being cooped up together." 
 
Potter brought out the clothes he had purchased. When he and Malfoy had taken their pick of the worsted trousers, tweed jackets and overcoats, and magically adjusted them to fit, we slipped out of the back door and made our way quietly onto the swarming pavements of London Town. 
 
Malfoy kept to his word, striding along with his hands in his pockets and head high, looking for all the world like an undergraduate on holiday. 
 
"How much had it changed, Potter?" 
 
"What?" Potter asked. He had one hand close to the handle of his wand and his green eyes were restless. 
 
"London. The crowds, the smells, the shops. Had they changed very much from this, when you knew them?" 
 
Potter pulled a wry face. 
 
"Just a bit. Surely even you noticed the difference between a London run by horse power and one filled with petrol and diesel-driven vehicles?" 
 
"I didn't go into Mug â€“ ordinary London." 
 
"Neither did I till I got my Hogwarts letter." 
 
We paused to cross a busy thoroughfare, dodging the traffic. A short, plump woman with a heavy basket over one arm collided with Malfoy, knocking him aside. I heard the breath hiss between his teeth and his wand slid down his sleeve into his hand. I seized his wrist as the matron gasped an apology and bustled away. A street urchin darted past with a cry of "Good morning, Dr Watson!" and a cheeky grin. 
 
"I think she was distracting you," Potter murmured, coming so close that his shoulder brushed against Malfoy's. 
 
"The boy recognised me and so refrained from picking our pockets, I suspect that he may be one of Holmes' informants," I said. 
 
"I damn near hexed the pair of them," Malfoy said darkly. "Blasted Muggles..." 
 
"Temper temper, we're supposed to be blending in. Come on." 
 
Today, the shop was tended by a much younger woman, who was more interested in catching the eye of the baker's apprentice across the road than in serving us. When I asked after the proprietor, she shrugged. 
 
"Me Granny's got the lumbago something 'orrible. Did you say you want lovage?" 
 
"Borage." 
 
"Right," she said, tipping out dried herbs from a jar clearly labelled 'lovage' into the pan of the scales. 
 
Once we had our purchases sorted, weighed, wrapped and paid for, we strolled back in the direction of Baker Street. A cold East wind was blowing with sleet in its teeth and even Malfoy's enthusiasm for our constitutional was waning rapidly. We were cutting through the maze of smaller streets between Edgware Road and Gloucester Place on our way home when we heard the sound of running feet and my name was called in a high, urgent voice. 
 
"Dr Watson!" I turned as Potter and Malfoy both reached for their wands. The same street urchin, his face pink with exertion, came hurrying to my side. "Dr Watson, Mr 'Olmes says to tell you that 'e's found what you was lookin' for!" 
 
Potter and Malfoy traded glances. 
 
"Which particular thing was this?" I asked. 
 
"'Ow the 'ell do I know? All 'e says was, 'e found it and 'e says you're to come quick, an' them an' all." He waved at my companions. "Suit yerselves, then." He shrugged, stuffing his hands into his pockets. "I ain't got all bleedin' day." 
 
"Pockets to pick?" Malfoy drawled. 
 
"Listen to the ruddy toff! 'Pockets to pick' 'e says, like as if e's ever had to do a day's work." The wretch pretended to duck as if Malfoy had taken a swing at him. "You comin' or not?" 
 
"Is this a trap?" Potter breathed, as we started off in pursuit of our guide. 
 
"It may be, except that Holmes has used the lad to run errands before now and it is his style, to give away as little as he can." 
 
"We could use Legilimency on him," Malfoy suggested with an expression that suggested that he would rather cast a plague of boils. 
 
"What's that?" 
 
"Mind magic, like reading thoughts. It would tell us if he's trying to double-cross us

Text #1

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.1738. Min Act: -0.1700

Data Index: 6488026 (Open Web Text)

Max Activating Token Index: 19

Click toggle to see full text

Truncated

Full Text #1


Text #2

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.1113. Min Act: -0.1700

Data Index: 3920719 (Open Web Text)

Max Activating Token Index: 256

Click toggle to see full text

Truncated

Full Text #2


Text #3

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.1113. Min Act: -0.1700

Data Index: 4138645 (Open Web Text)

Max Activating Token Index: 247

Click toggle to see full text

Truncated

Full Text #3


Text #4

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0801. Min Act: -0.1700

Data Index: 7655490 (Open Web Text)

Max Activating Token Index: 53

Click toggle to see full text

Truncated

Full Text #4


Text #5

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.1113. Min Act: -0.1700

Data Index: 1010989 (Open Web Text)

Max Activating Token Index: 150

Click toggle to see full text

Truncated

Full Text #5


Text #6

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0488. Min Act: -0.1700

Data Index: 8770158 (Open Web Text)

Max Activating Token Index: 434

Click toggle to see full text

Truncated

Full Text #6


Text #7

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0801. Min Act: -0.1700

Data Index: 8195312 (Open Web Text)

Max Activating Token Index: 74

Click toggle to see full text

Truncated

Full Text #7


Text #8

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0801. Min Act: -0.1700

Data Index: 2183531 (Open Web Text)

Max Activating Token Index: 836

Click toggle to see full text

Truncated

Full Text #8


Text #9

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0801. Min Act: -0.1700

Data Index: 8367523 (Open Web Text)

Max Activating Token Index: 777

Click toggle to see full text

Truncated

Full Text #9


Text #10

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0801. Min Act: -0.1700

Data Index: 5869171 (Open Web Text)

Max Activating Token Index: 40

Click toggle to see full text

Truncated

Full Text #10


Text #11

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0488. Min Act: -0.1700

Data Index: 8274343 (Open Web Text)

Max Activating Token Index: 7

Click toggle to see full text

Truncated

Full Text #11


Text #12

Max Range: 5.2988. Min Range: -5.2988

Max Act: 5.0488. Min Act: -0.1700

Data Index: 6658439 (Open Web Text)

Max Activating Token Index: 57

Click toggle to see full text

Truncated

Full Text #12


Text #13

Max Range: 5.2988. Min Range: -5.2988

Max Act: 4.9863. Min Act: -0.1700

Data Index: 4652691 (Open Web Text)

Max Activating Token Index: 182

Click toggle to see full text

Truncated

Full Text #13


Text #14

Max Range: 5.2988. Min Range: -5.2988

Max Act: 4.9863. Min Act: -0.1700

Data Index: 7217189 (Open Web Text)

Max Activating Token Index: 28

Click toggle to see full text

Truncated

Full Text #14


Text #15

Max Range: 5.2988. Min Range: -5.2988

Max Act: 4.9863. Min Act: -0.1700

Data Index: 1900954 (Open Web Text)

Max Activating Token Index: 6

Click toggle to see full text

Truncated

Full Text #15


Text #16

Max Range: 5.2988. Min Range: -5.2988

Max Act: 4.9551. Min Act: -0.1700

Data Index: 3704455 (Open Web Text)

Max Activating Token Index: 61

Click toggle to see full text

Truncated

Full Text #16


Text #17

Max Range: 5.2988. Min Range: -5.2988

Max Act: 4.9863. Min Act: -0.1700

Data Index: 2737275 (Open Web Text)

Max Activating Token Index: 108

Click toggle to see full text

Truncated

Full Text #17


Text #18

Max Range: 5.2988. Min Range: -5.2988

Max Act: 4.9551. Min Act: -0.1700

Data Index: 6541847 (Open Web Text)

Max Activating Token Index: 12

Click toggle to see full text

Truncated

Full Text #18


Text #19

Max Range: 5.2988. Min Range: -5.2988

Max Act: 4.9551. Min Act: -0.1700

Data Index: 6568125 (Open Web Text)

Max Activating Token Index: 23

Click toggle to see full text

Truncated

Full Text #19