< Prev | Home | Model | Random | Next >

Model: GPT-2 Xl: 48 Layers, 6400 Neurons per Layer

Dataset: Open Web Text

Neuron 4 in Layer 34

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('gpt2-xl')



Text #0

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.8404. Min Act: -0.1700

Data Index: 4885172 (Open Web Text)

Max Activating Token Index: 827

Click toggle to see full text

Truncated

 are about 20,000 residents in isolated areas that need food and water." 
 
Media playback is unsupported on your device Media caption The BBC's David Shukman on Luzon: ''The sheer quantity of rain is what the authorities are really worried about'' 
 
While the Philippines is no stranger to

Full Text #0

<|endoftext|>are what mattered to her. �One good thing, she writes in On Sal Mal Lane, �was enough to make a life remarkable. (Though on the next page: �In those moments he would feel that he was neither full of war nor full of peace, he was simply lost.) 
 
When the Herath children must finally deal with death, they must deal with existence in the face of nonexistence, with creating an environment, as in writing, where a person who is not �alive walks at ones side. �Make something, is the decree. It is good for us that Freeman gave up law to be a writer, since she has the rare gift of being able to make life out of death. 
 
author photo by Brenda Carpenter<|endoftext|>Media playback is unsupported on your device Media caption The BBC's Jon Donnison: "People are worried the whole side of the mountain could slip down" 
 
Heavy rain and floods are affecting dozens of villages, after Typhoon Koppu swept through the northern Philippines. 
 
The slow-moving weather system has killed at least two people and forced tens of thousands from their homes. 
 
Troops have been deployed to help residents trapped on rooftops, but are struggling to access more remote areas. 
 
Koppu has now been downgraded to a severe tropical storm by the Japanese Meteorological Agency, which is responsible for naming and tracking it. 
 
However, the Philippines' own weather agency, which calls the weather system Lando, is still characterising it as a typhoon. 
 
Despite weakening, Koppu is expected to keep dumping rain on the country for a considerable time to come. Some forecasts suggest it may not be until Wednesday that it moves past the Philippines and on to Taiwan. 
 
Image copyright EPA Image caption With rains still falling, the risk of flooding is even greater than during typical storms and typhoons 
 
At the scene: Jon Donnison, BBC News, Luzon, Philippines 
 
Unlike previous tropical cyclones, the threat from typhoon Koppu is not so much from the wind but from the massive amount of rain. 
 
More than a metre of rainfall is forecast in just a few days in Luzon province. That is double what London gets in an entire year. 
 
In the south of Luzon, it has brought severe flooding with whole villages under water. But perhaps more dangerous are massive landslides. The fear is that with the ground heavy and saturated with water, whole hillsides could collapse. 
 
We visited one small community near Burgos where 70 families are now living in a makeshift evacuation centre because of the fear the hills on which they live could collapse. 
 
Typhoon Koppu made landfall near the town of Casiguran on the main island of Luzon on Sunday morning, bringing winds of close to 200km/h (124mph) and cutting power to vast areas. 
 
A teenager was killed by a fallen tree in Manila which also injured four others. A concrete wall also collapsed in the town of Subic, northwest of Manila, killing a 62-year-old woman, officials said. 
 
By dawn on Monday, wind speeds were down to 150 km/h (93 mph) in the northern town of Santiago, according to the state weather service. 
 
But floodwaters are preventing even military vehicles reaching many of the worst-hit villages, and rescuers report a shortage of boats. 
 
"We haven't reached many areas. About 60% to 70% of our town is flooded, some as deep as three metres," said Henry Velarde, vice mayor of Jaen, a town in Nueva Ecija province. 
 
"There are about 20,000 residents in isolated areas that need food and water." 
 
Media playback is unsupported on your device Media caption The BBC's David Shukman on Luzon: ''The sheer quantity of rain is what the authorities are really worried about'' 
 
While the Philippines is no stranger to typhoons and tropical storms, the slow-moving nature of Koppu means heavy rain will fall for longer than usual, bringing greater risk of flooding and landslides. 
 
It is the second strongest storm to hit the archipelago this year. 
 
Image copyright AFP Image caption Residents have been forced onto the roofs of their homes as floodwaters show no signs of abating 
 
Image copyright EPA Image caption Essential supplies are being distributed at evacuation centres around the country 
 
Justin Morgan, Philippines country director for the charity Oxfam, told the BBC while evacuations for those still in the path of the typhoon was the most urgent task, "we can expect that there will be needs in terms of helping people recover their livelihoods as we know that many of the farmers would have lost their crops". 
 
Why is Koppu slow-moving? Chris Fawkes, BBC Weather Centre, explains: 
 

Text #1

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.7779. Min Act: -0.1700

Data Index: 98132 (Open Web Text)

Max Activating Token Index: 652

Click toggle to see full text

Truncated

Full Text #1


Text #2

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.6529. Min Act: -0.1700

Data Index: 1955272 (Open Web Text)

Max Activating Token Index: 184

Click toggle to see full text

Truncated

Full Text #2


Text #3

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.5279. Min Act: -0.1700

Data Index: 1753386 (Open Web Text)

Max Activating Token Index: 333

Click toggle to see full text

Truncated

Full Text #3


Text #4

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.4029. Min Act: -0.1700

Data Index: 319311 (Open Web Text)

Max Activating Token Index: 800

Click toggle to see full text

Truncated

Full Text #4


Text #5

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.4029. Min Act: -0.1700

Data Index: 4643936 (Open Web Text)

Max Activating Token Index: 156

Click toggle to see full text

Truncated

Full Text #5


Text #6

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.3404. Min Act: -0.1700

Data Index: 4843054 (Open Web Text)

Max Activating Token Index: 677

Click toggle to see full text

Truncated

Full Text #6


Text #7

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.2779. Min Act: -0.1700

Data Index: 4467486 (Open Web Text)

Max Activating Token Index: 677

Click toggle to see full text

Truncated

Full Text #7


Text #8

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.3404. Min Act: -0.1700

Data Index: 6841331 (Open Web Text)

Max Activating Token Index: 179

Click toggle to see full text

Truncated

Full Text #8


Text #9

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.3404. Min Act: -0.1700

Data Index: 5589231 (Open Web Text)

Max Activating Token Index: 928

Click toggle to see full text

Truncated

Full Text #9


Text #10

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.2779. Min Act: -0.1700

Data Index: 1643920 (Open Web Text)

Max Activating Token Index: 445

Click toggle to see full text

Truncated

Full Text #10


Text #11

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.2154. Min Act: -0.1700

Data Index: 6532401 (Open Web Text)

Max Activating Token Index: 726

Click toggle to see full text

Truncated

Full Text #11


Text #12

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.2154. Min Act: -0.1700

Data Index: 6930850 (Open Web Text)

Max Activating Token Index: 264

Click toggle to see full text

Truncated

Full Text #12


Text #13

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.0904. Min Act: -0.1700

Data Index: 4499108 (Open Web Text)

Max Activating Token Index: 467

Click toggle to see full text

Truncated

Full Text #13


Text #14

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.1529. Min Act: -0.1700

Data Index: 7444732 (Open Web Text)

Max Activating Token Index: 971

Click toggle to see full text

Truncated

Full Text #14


Text #15

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.0904. Min Act: -0.1700

Data Index: 3438511 (Open Web Text)

Max Activating Token Index: 807

Click toggle to see full text

Truncated

Full Text #15


Text #16

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.0904. Min Act: -0.1700

Data Index: 6007235 (Open Web Text)

Max Activating Token Index: 818

Click toggle to see full text

Truncated

Full Text #16


Text #17

Max Range: 10.8404. Min Range: -10.8404

Max Act: 10.0279. Min Act: -0.1700

Data Index: 6074085 (Open Web Text)

Max Activating Token Index: 888

Click toggle to see full text

Truncated

Full Text #17


Text #18

Max Range: 10.8404. Min Range: -10.8404

Max Act: 9.9654. Min Act: -0.1700

Data Index: 7754382 (Open Web Text)

Max Activating Token Index: 301

Click toggle to see full text

Truncated

Full Text #18


Text #19

Max Range: 10.8404. Min Range: -10.8404

Max Act: 9.9029. Min Act: -0.1700

Data Index: 4343569 (Open Web Text)

Max Activating Token Index: 462

Click toggle to see full text

Truncated

Full Text #19