Bernard Buffet naît le 10 juillet 1928 dans le 9e arrondissement de Paris.
Enfant de Charles et Blanche Buffet, il est issu d'un milieu cultivé de la petite bourgeoisie, allant à rebours de la légende selon laquelle il vivait dans une extrême pauvreté. Ses deux grands-pères sont militaires, l'un est passionné de dessin, et son père dirige une miroiterie.
Il est élevé dans le 17e arrondissement de Paris au no 29 de la rue des Batignolles où il commence à peindre et dessiner dès l'âge de dix ans. Très jeune, il cotoie l'artiste Marie-Thérèse Auffray qui lui enseigne la peinture et devient son mentor4. Renvoyé du lycée Carnot en 1939, il suit en 1942 les cours du soir de la ville de Paris place des Vosges, où Paul Darbefeuille l'initie au dessin. Il remporte le concours d’entrée de l'École nationale supérieure des beaux-arts en décembre 1943 à quinze ans, passant deux ans dans l'atelier du peintre Eugène Narbonne où il est déjà considéré comme très doué. Il s'y lie notamment d'amitié avec les peintres Maurice Boitel et Louis Vuillermoz. En 1945, il part travailler seul dans la chambre de bonne de l’appartement familial. En vacances à Saint-Cast-le-Guildo (Bretagne), il peint des tableaux de plage. À l'été 1945, sa mère éprouve des maux de tête et meurt deux mois plus tard d'une tumeur au cerveau, ce dont Bernard Buffet ne se remettra jamais. En 1946, il expose son premier tableau, un autoportrait, au Salon des moins de trente ans à la Galerie des beaux-arts.