< Prev | Home | Model | Random | Next >

Model: SoLU Model: 4 Layers, 2048 Neurons per Layer

Dataset: The Pile

Neuron 3 in Layer 0

Load this data into an Interactive Neuroscope

See Documentation here

Transformer Lens Loading: HookedTransformer.from_pretrained('solu-4l-pile')

Text #0

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0071. Min Act: -0.0001

Data Index: 1427220 (The Pile)

Max Activating Token Index: 291

Click toggle to see full text

Truncated

 CNN Colion Noir Competitive Enterprise Institute Congress Corey Lewandowski Coronavirus (COVID-19) Crime and criminal justice Current TV Curt Schilling Dagen McDowell Daily Mail Daily Signal Dan Bongino Dana Bash Dana Loesch Dana Milbank Dana Perino Daniel Henninger David Asman

Full Text #0

<|endoftext|> Thinker Andrew Lack Andrew McCarthy Andrew Napolitano Andrew Sullivan Angelo Carusone Ann Coulter Anthony Scaramucci Ari Fleischer Armed American Radio Art Laffer Associated Press Axios Baltimore Sun Barack Obama Bari Weiss Bathroom Predator Myth BBC Ben Carson Ben Ferguson Ben Shapiro Ben Stein Benghazi Conspiracy Theory Bernie Sanders Betsy DeVos Betsy McCaughey Big League Politics Bill Bennett Bill Clinton Bill Cunningham Bill Hemmer Bill Kristol Bill O'Reilly Bill Sammon Birther Conspiracy Theory Black Lives Matter BlazeTV Bloomberg Bob Woodward Boris Epshteyn Brad Blakeman Breitbart News Bret Baier Bret Stephens Brian Kilmeade Brian Stelter Brian Williams Brigitte Gabriel Brit Hume Broadcast Networks Byron York Cable news Campbell Brown Candace Owens Carrie Severino Catherine Herridge Cato Institute CBS CBS Evening News CBS This Morning Center for Immigration Studies Center for Medical Progress Charles Gasparino Charles Hurt Charles Krauthammer Charles Payne Charlie Kirk Charlie Rose Charlie Sykes Chris Cillizza Chris Cuomo Chris Hayes Chris Matthews Chris Stirewalt Chris Wallace Christian Broadcasting Network Chuck Holton Chuck Todd Climate deniers CNBC CNN Colion Noir Competitive Enterprise Institute Congress Corey Lewandowski Coronavirus (COVID-19) Crime and criminal justice Current TV Curt Schilling Dagen McDowell Daily Mail Daily Signal Dan Bongino Dana Bash Dana Loesch Dana Milbank Dana Perino Daniel Henninger David Asman David Bossie David Broder David Brooks David Clarke David Daleiden David Fahrenthold David Frum David Gergen David Gregory David Horowitz David Limbaugh Dennis Miller Dennis Prager Devin Nunes Diane Sawyer Dick Morris Dinesh D'Souza Diversity & Discrimination Don Imus Don Lemon Don't Ask, Don't Tell Donald Trump Donald Trump Jr. Doug McKelway Dr. Mehmet Oz E.D. Hill Ed Henry Ed Rogers Ed Rollins Education Elizabeth Warren Emily Miller Eric Bolling Eric Holder Eric Trump Erick Erickson Erin Burnett Ezra Klein Face the Nation Facebook Fake News False-Flag Conspiracy Theory Family Policy Institute Family Research Council Federation for American Immigration Reform Focus on the Family Forbes Fortune Fox & Friends Fox Business Fox Nation Fox News Frank Luntz Fusion G. Gordon Liddy Gavin McInnes George Soros George Stephanopoulos George W. Bush George Will Geraldo Rivera Glenn Beck Glenn Thrush Gloria Borger Good Morning America Google Grant Stinchfield Greg Gutfeld Gregg Jarrett Greta van Susteren Griff Jenkins Grover Norquist Guy Benson Hans von Spakovsky Harris Faulkner HBO Health Care Heartland Institute Heather Mac Donald Hillary Clinton Hope Hicks Hot Air Howard Kurtz Howie Carr HuffPost Hugh Hewitt Immigration Infowars Instapundit Interviews Investor's Business Daily J. Christian Adams Jack Keane Jack Posobiec Jake Tapper James Comey James Mattis James Murdoch James O'Keefe James Rosen Jan Mickelson Jared Kushner Jason Chaffetz Jay Sekulow Jeanine Pirro Jedediah Bila Jeff Gerth Jeff Sessions Jeffrey Lord Jennifer Rubin Jerome Corsi Jerry Falwell Jerry Falwell Jr. Jesse Watters Jim Cramer Jim Hoft Jim Pinkerton Jim Quinn Joan Walsh Joe Arpaio Joe Bastardi Joe Biden Joe Kernen Joe Pagliarulo Joe Scarborough Joel Pollak John Bolton John Fund John Gibson John Kasich John Lott John McCain John Podhoretz John Solomon John Stossel Jonah Goldberg Jorge Ramos Joseph DiGenova Joy Reid Juan Williams Judicial Crisis Network Judicial Watch Judith Miller Julie Banderas Justice & Civil Liberties K.T. McFarland Kamala Harris Karl Rove Kathleen Parker Katie Couric Katie Hopkins Katie Pavlich Kayleigh McEnany Keith Ablow Kellyanne Conway Ken Blackwell Kevin Corke Kevin Williamson Kimberly Guilfoyle Koch Brothers Kris Kobach L. Brent Bozell Lachlan Murdoch Lara Logan Larry Elder Larry Kudlow Larry O'Connor Larry Pratt Lars Larson Las Vegas Review-Journal Last Week Tonight Laura Ingraham Laura Loomer Laura Schlessinger Lawrence O'Donnell Lee Rodgers Legacy Lester Holt Lila Rose Lindsey Graham Lisa Boothe Lisa Kennedy Montgomery Live Action Liz Cheney Los Angeles Times Lou Dobbs Lucian Wintrich MAGA Trolls Maggie Haberman Major Garrett Marc Siegel Marc Thiessen Marco Rubio Margaret Talev Maria Bartiromo Mark Cuban Mark Fuhrman Mark Halperin Mark Levin Mark Steyn Mark Williams Mark Zuckerberg Martha MacCallum Martha Raddatz Matt Lauer Matt Schlapp Matthew Vadum Maureen Dowd Media Research Center Mediaite Meet the Press Meghan McCain Megyn Kelly Melania Trump Melanie Morgan Melissa Francis Mercedes Schlapp Michael Berry Michael Cohen Michael Flynn Michael Goodwin Michael Medved Michael Savage Michael Smerconish Michelle Malkin Michelle Obama Mika Brzezinski Mike Barnicle Mike

Text #1

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0069. Min Act: -0.0002

Data Index: 688542 (The Pile)

Max Activating Token Index: 783

Click toggle to see full text

Truncated

Full Text #1

Text #2

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0068. Min Act: -0.0003

Data Index: 1153312 (The Pile)

Max Activating Token Index: 174

Click toggle to see full text

Truncated

Full Text #2

Text #3

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0068. Min Act: -0.0002

Data Index: 1087623 (The Pile)

Max Activating Token Index: 938

Click toggle to see full text

Truncated

Full Text #3

Text #4

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0067. Min Act: -0.0003

Data Index: 541855 (The Pile)

Max Activating Token Index: 298

Click toggle to see full text

Truncated

Full Text #4

Text #5

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0067. Min Act: -0.0003

Data Index: 1705171 (The Pile)

Max Activating Token Index: 393

Click toggle to see full text

Truncated

Full Text #5

Text #6

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0065. Min Act: -0.0003

Data Index: 991931 (The Pile)

Max Activating Token Index: 662

Click toggle to see full text

Truncated

Full Text #6

Text #7

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0066. Min Act: -0.0003

Data Index: 155156 (The Pile)

Max Activating Token Index: 326

Click toggle to see full text

Truncated

Full Text #7

Text #8

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0066. Min Act: -0.0003

Data Index: 1000695 (The Pile)

Max Activating Token Index: 653

Click toggle to see full text

Truncated

Full Text #8

Text #9

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0066. Min Act: -0.0003

Data Index: 1061934 (The Pile)

Max Activating Token Index: 331

Click toggle to see full text

Truncated

Full Text #9

Text #10

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0066. Min Act: -0.0003

Data Index: 444869 (The Pile)

Max Activating Token Index: 289

Click toggle to see full text

Truncated

Full Text #10

Text #11

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0065. Min Act: -0.0003

Data Index: 1878433 (The Pile)

Max Activating Token Index: 95

Click toggle to see full text

Truncated

Full Text #11

Text #12

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0064. Min Act: -0.0003

Data Index: 1756938 (The Pile)

Max Activating Token Index: 388

Click toggle to see full text

Truncated

Full Text #12

Text #13

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0065. Min Act: -0.0003

Data Index: 1193206 (The Pile)

Max Activating Token Index: 886

Click toggle to see full text

Truncated

Full Text #13

Text #14

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0065. Min Act: -0.0002

Data Index: 790142 (The Pile)

Max Activating Token Index: 311

Click toggle to see full text

Truncated

Full Text #14

Text #15

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0064. Min Act: -0.0003

Data Index: 760623 (The Pile)

Max Activating Token Index: 554

Click toggle to see full text

Truncated

Full Text #15

Text #16

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0065. Min Act: -0.0002

Data Index: 1964556 (The Pile)

Max Activating Token Index: 154

Click toggle to see full text

Truncated

Full Text #16

Text #17

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0064. Min Act: -0.0003

Data Index: 1914119 (The Pile)

Max Activating Token Index: 928

Click toggle to see full text

Truncated

Full Text #17

Text #18

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0065. Min Act: -0.0002

Data Index: 1805556 (The Pile)

Max Activating Token Index: 1023

Click toggle to see full text

Truncated

Full Text #18

Text #19

Max Range: 0.0071. Min Range: -0.0071

Max Act: 0.0064. Min Act: -0.0003

Data Index: 346414 (The Pile)

Max Activating Token Index: 549

Click toggle to see full text

Truncated

Full Text #19