À sa création, la banque est le premier poids lourd de la banque française. Elle est fondée par un groupe d’industriels (dont Paulin Talabot qui en fut le premier directeur) et la famille Rothschild sous le Second Empire, le 4 mai 1864, « pour favoriser le développement du commerce et de l’industrie en France ». Le premier président de la banque est l’influent Eugène Schneider (1805-1875), maître de forges au Creusot, suivi par Guillaume Deninger, dit Denière, puis par l’Écossais Edouard Blount. La banque développe alors son réseau de manière importante en France, pour posséder un total de 32 postes en province en 1870 dont 15 à Paris. L’année suivante, Société Générale ouvre un bureau à Londres.

La banque commence à se constituer une clientèle de PME et de particuliers grâce à son réseau. Le siège parisien suit quant à lui les grandes entreprises. Cette même année 1871, la banque accède au marché des émissions publiques françaises. La France connaît cependant une période de marasme économique entre 1871 et 1893, entraînant la faillite de plusieurs établissements bancaires. Société Générale continue son développement et possède 148 guichets en 1889.