È una razza molto antica, probabilmente introdotta in Giappone dalla Cina tra il 6000 e il 300 a.C. Questi cani, grazie alle piccole dimensioni, alla resistenza, alla velocità e all'agilità, sono stati utilizzati per la caccia di uccelli, daini e cervi. Lo shiba contemporaneo ha origine dall'unione di diverse antiche razze che, seppur differenti nella taglia, nel colore e nella morfologia sono state raggruppate sotto il nome di shiba dal medico veterinario Saito.