El concepto detrás de Super Smash Bros 64 es que los personajes que aparecen en el juego son juguetes o muñecos que cobran vida en la imaginación de un niño (representado en el juego por la mano gigante conocida como Master Hand). Los escenarios en los que luchan, los objetos y los propios personajes, son parte de ese juego infantil. Master Hand actúa como el organizador de las batallas, manipulando a los personajes para que luchen entre sí.

Al principio del juego, vemos una secuencia en la que Master Hand coloca a los personajes en un escritorio, sugiriendo que está jugando con sus muñecos favoritos. Los personajes no están "peleando en la vida real", sino dentro de este mundo ficticio de imaginación infantil. A medida que avanzas en el modo clásico del juego, al final, te enfrentas a la propia Master Hand, que es vista como el jefe final, lo que simboliza enfrentarse a la fuerza que controla todo el juego.

Este enfoque del juego como una batalla entre figuras de acción le da a Super Smash Bros 64 un toque único y explica por qué personajes de universos completamente diferentes, como Mario, Link, Pikachu y Samus, pueden luchar entre sí. Además, este lore se ha expandido en juegos posteriores de la serie, aunque sigue siendo una idea central de por qué los personajes tan dispares se encuentran en el mismo universo.