De oorsprong van jiu-jitsu is en blijft vaag, doordat er slechts weinig geschriften over bestaan. Wat wel zeker is, is dat het gedurende de feodale periode in Japan (tussen de 12de en de 19de eeuw) door de Samoerai ontwikkeld werd. Zij beschouwden de door hun gebruikte technieken als een familie- of schoolgeheim.
Aanvankelijk ging het om vrij primitieve technieken, maar vanaf de tweede helft van de 16de eeuw tot de 19de eeuw gaven bekwame meesters in hun scholen (ryu) onderricht over hun eigen specifieke technieken, die in geheime geschriften werden opgetekend.
Toen de eerste contacten tussen Europa en de Oosterse wereld werden gelegd, werd Japan zwaar beïnvloed door de Westerse cultuur, waardoor een aantal moderne opvattingen in de samenleving werden geïntroduceerd. Dit had tot gevolg dat het bestaande feodale systeem wegviel en vervangen werd door een keizerrijk. De samurais werden een verboden groep en veel scholen werden gesloten,waardoor jiu-jitsu een tijdlang verviel tot een relikwie.
Na enkele jaren ontstond een golf van terreur tegen de radicale veranderingen, waardoor jiu-jitsu opnieuw boven water kwam. Op dat moment waren politie-, leger- en marine-eenheden er sterk in geïnteresseerd. In deze periode werd ook judo ontwikkeld door Jigoro Kano, die daarbij steunde op een combinatie van technieken uit verschillende scholen.