Le mot yakuza vient des chiffres 8, 9, 3 (prononcés en japonais ya, ku, sa), qui constituent la pire combinaison possible dans le jeu de carte traditionnel japonais oicho-kabu, qui signifie « perdants », « bons à rien ». Les yakuzas sont à l'origine issus des plus pauvres, des exclus de la société.