< Prev | Home | Model | Random | Next >

Model: GPT-2 Small: 12 Layers, 3072 Neurons per Layer

Dataset: Open Web Text

Neuron 3 in Layer 6

Load this data into an Interactive Neuroscope

See Documentation here

Hooked Transformer Loading: HookedTransformer.from_pretrained('gpt2-small')

Click the toggle to see the full text!



Text #0

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.1571. Min Act: -0.1700

Data Index: 5200694 (Open Web Text)

Max Activating Token Index: 163

Click toggle to see full text

Truncated

 have his turn on the worlds biggest soapbox, and when the Kosovo war ended, his time finally came. When it did, he simply repeated the same tired idea that every Times hack whod ever made it big had clung to over the yearsnamely, that America

Full Text #0

<|endoftext|> Ass-kickers. The bookish, sensitive types who whine about starving black babies have stopped getting chicks. Instead, it is the mean squares who are suddenly feeling sexy. They are dressing up in tight jeans and gold medallions and silk shirts open to the navel. They are making their way to your table. There is nothing you can do to stop them. 
 
Wines by 1998 was a budding Disco king, a new Frankel, made in his masters image. He had put in many long years for the chance to have his turn on the worlds biggest soapbox, and when the Kosovo war ended, his time finally came. When it did, he simply repeated the same tired idea that every Times hack whod ever made it big had clung to over the yearsnamely, that America was a morally superior society that should rightly inherit the world, even if that required taking it by force. 
 
That was what Wines did once he finally got the chance to express himselfhe turned into Max Frankel. Even better, as a recent postee to Moscow, Wines was able to realize a dream that the Frankel of the �60s had never been able to attain. He was able to gloat over Americas military supremacy from a seat in the very heart of the ruined communist enemy, an enemy that had disagreed with the bombing of Yugoslavia but hadnt been able to do a damned thing about it. Heres an excerpt from his seminal June 13 piece, �Two Views of Inhumanity Split the World, Even in Victory: 
 
Americans, flush with victory over Communism and inhumanity, think ever more reflexively that their values are the worlds. In economics, that often is true. But to many other nations, the Kosovo atrocities that Germany equated with its own past and President Clinton labeled �vicious and �terrifying were just the broken eggs of yet another national omelet, and the West was a self-righteous, ever-more-meddlesome cook. 
 
Chief among the nations that see Kosovo this way is Russia, and that is hardly a harbinger of smooth sailing in future efforts to right moral wrongs around the world. 
 
Pobornik laughs after hearing how his sperm was used 
 
True, Russia joined the diplomacy that forced Serbias retreat from Kosovo and allowed 78 days of bombing to end. And its leaders promised to cooperate in peacekeepingeven though a Russian unit rushed into Kosovo before NATO wanted it there. 
 
But that is not the same thing as saying Russia shares the Wests view that Kosovo is a turning point away from ethnic blood baths and toward harmony, even if at Western gunpoint. Quite the opposite: The war only underscored the deep ideological divide between an idealistic New World bent on ending inhumanity and an Old World equally fatalistic about unending conflict. 
 
This is really how Wines sees the world; he believes America is an �idealistic New World bent on ending inhumanity that is quite justified if it decides it needs to achieve �harmony at �gunpoint. For an anti-communist, this is a strikingly Leninist way of looking at thingsto believe that you can shoot your way to utopia and Peace between Men. But Wines, even as he sat in a city full of Lenin statues, seemed to have no idea how purely Bolshevik his argument was. He seemed to actually believe that this �international harmony at gunpoint thing was a new idea. As though no one had ever tried it before. 
 
This Wines article again set off the people at FAIR. They sent out an alert to subscribers asking them to write letters to The Times to complain about Winess chauvinism. They must have really gotten to him, because he took the extraordinary step of responding to them publicly. The letter he wrote is worth quoting at length. Note his sneering, sarcastic revolt at being forced to use the PC term �Native Americans as he reluctantly admitshe �guessesthat the United States �essentially committed genocide on its own continent: 
 
Dear FAIR correspondents, 
 
Because I cannot reply to all correspondence, especially that which is computer-generated, I have generally been spiking your messages after reading them, excepting one or two especially annoying ones which received rather tart replies. That doesnt advance anything, and to them I apologize, with the suggestion that they read all the way to the end of this note. 
 
Still, I believe that anything which generates 15 or 20 messages deserves a response. This is it. I certainly dont expect it to change anyone

Text #1

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.1382. Min Act: -0.1700

Data Index: 4654714 (Open Web Text)

Max Activating Token Index: 99

Click toggle to see full text

Truncated

Full Text #1


Text #2

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.0986. Min Act: -0.1700

Data Index: 3182525 (Open Web Text)

Max Activating Token Index: 788

Click toggle to see full text

Truncated

Full Text #2


Text #3

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.0663. Min Act: -0.1700

Data Index: 7509403 (Open Web Text)

Max Activating Token Index: 709

Click toggle to see full text

Truncated

Full Text #3


Text #4

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.0594. Min Act: -0.1700

Data Index: 6239095 (Open Web Text)

Max Activating Token Index: 821

Click toggle to see full text

Truncated

Full Text #4


Text #5

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.0428. Min Act: -0.1700

Data Index: 2550355 (Open Web Text)

Max Activating Token Index: 617

Click toggle to see full text

Truncated

Full Text #5


Text #6

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.0203. Min Act: -0.1700

Data Index: 6802515 (Open Web Text)

Max Activating Token Index: 813

Click toggle to see full text

Truncated

Full Text #6


Text #7

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.0220. Min Act: -0.1700

Data Index: 7703074 (Open Web Text)

Max Activating Token Index: 462

Click toggle to see full text

Truncated

Full Text #7


Text #8

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9844. Min Act: -0.1700

Data Index: 4840438 (Open Web Text)

Max Activating Token Index: 521

Click toggle to see full text

Truncated

Full Text #8


Text #9

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9812. Min Act: -0.1700

Data Index: 4301323 (Open Web Text)

Max Activating Token Index: 260

Click toggle to see full text

Truncated

Full Text #9


Text #10

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9871. Min Act: -0.1700

Data Index: 4890173 (Open Web Text)

Max Activating Token Index: 823

Click toggle to see full text

Truncated

Full Text #10


Text #11

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9826. Min Act: -0.1700

Data Index: 4103466 (Open Web Text)

Max Activating Token Index: 337

Click toggle to see full text

Truncated

Full Text #11


Text #12

Max Range: 5.1571. Min Range: -5.1571

Max Act: 5.0063. Min Act: -0.1700

Data Index: 6803722 (Open Web Text)

Max Activating Token Index: 264

Click toggle to see full text

Truncated

Full Text #12


Text #13

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9970. Min Act: -0.1700

Data Index: 5830558 (Open Web Text)

Max Activating Token Index: 168

Click toggle to see full text

Truncated

Full Text #13


Text #14

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9970. Min Act: -0.1700

Data Index: 2012116 (Open Web Text)

Max Activating Token Index: 940

Click toggle to see full text

Truncated

Full Text #14


Text #15

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9566. Min Act: -0.1700

Data Index: 507607 (Open Web Text)

Max Activating Token Index: 971

Click toggle to see full text

Truncated

Full Text #15


Text #16

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9469. Min Act: -0.1700

Data Index: 5331879 (Open Web Text)

Max Activating Token Index: 392

Click toggle to see full text

Truncated

Full Text #16


Text #17

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9483. Min Act: -0.1700

Data Index: 5387450 (Open Web Text)

Max Activating Token Index: 296

Click toggle to see full text

Truncated

Full Text #17


Text #18

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9550. Min Act: -0.1700

Data Index: 6024427 (Open Web Text)

Max Activating Token Index: 603

Click toggle to see full text

Truncated

Full Text #18


Text #19

Max Range: 5.1571. Min Range: -5.1571

Max Act: 4.9626. Min Act: -0.1700

Data Index: 1499387 (Open Web Text)

Max Activating Token Index: 865

Click toggle to see full text

Truncated

Full Text #19