Alhoewel de oorsprong van Jiu-Jitsu onmogelijk te achterhalen is, kunnen we tot meer dan 2500 jaar terug in de geschiedenis elementen van deze kunst terug vinden.  
Mythische verhalen van Kadori en Kajima (twee legendarische goden) vertellen hoe inwoners van een oostelijke provincie werden gestraft voor het gebruiken van…laten we het “ongewapende vechtkunst” noemen. Want de term Jiu-Jitsu werd pas vanaf de Edo periode in de 17de eeuw in gebruik genomen.  (Laten we gemakkelijkheidhalve in dit artikel de term “Jiu-Jitsu” gebruiken om ongewapende gevechten aan te duiden.)

Chikura Kurabe, een worstelkunst die verscheen in Japan rond 230 V.C bevatte vele technieken die werden opgenomen in de “Jiu-Jitsu”-training.

In Chinese Tibetaanse kloosters beoefenden de monniken reeds in de eerste eeuw na Christus gevechtskunsten die voortvloeiden uit gymnastiek oefeningen. De welbekende Shaolin monniken kregen hun kennis van de Indiaanse monnik Bodhidharma, die in het klooster van Chaolin-Zsu de boeddhistische leer Dhyana (later Zen) onderwees. Tijdens de Tang Dynastie (618 - 907) redden de Shaolin krijgsmonniken het leven van de toekomstige keizer Li Shimin. Hierbij hielpen ze hem in zijn strijd tegen Japanse piraten en rebellen.

Yawara de voorloper van Jiu-Jitsu
Tijdens de Heian Periode (794 - 1192) was Yawara (het latere Jiu-Jitsu) één van de onderdelen in de training van de Bushi krijger. Zodat zij zich zouden kunnen verdedigen en verder strijden wanneer zij in het heetst van de strijd hun wapens zouden verliezen.  In het jaar 880 werd de eerste “Jiu-Jitsu” Ryu gevormd door Prins Teijun.

Tijdens de Kamakura periode (1192 – 1338) vestigde de eerste shōgun Minamoto no Yoritomo zich in Kamakura.  Het is niet exact bekend wanneer de samoerai kaste zijn intrede deed, maar aangenomen wordt dat dit in de 12de eeuw was.  De shōgun had namelijk bescherming nodig en vele Bushi beloofden hun meester tot de dood te beschermen.  Dit was de aanzet van hun aparte levenswijze en het verfijnen van al hun gekende Bujutsu technieken, waaronder “Jiu-Jitsu”.

Gedurende de Muromachi periode (1338 - 1573) volgden de oorlogen en veldslagen elkaar op. De Portugezen zetten in 1543 voet aan land in Japan en introduceerden het vuurwapen.
De oudste gedocumenteerde “Jiu-Jitsu” school (door deze familie toen ‘koshi no mawari’ genoemd) is de Takenouchi-Ryū opgericht in 1532 door Takenouchi Hisamori. Het was de eerste Koryu bujutsu Ryuha die “Jiu-Jitsu” als hoofdkunst onderwees. De legende vertelt dat Takenouchi in de Sannomiya tempel instortte van uitputting na een week van trainen en mediteren.  Tijdens het ijlen kreeg hij in een visioen een bezoek van Yamabushi (bergstrijder). Die hem vijfduizend technieken van immobilisatie onderwees in hojojutsu en de voordelen uitlegde van korte wapens te gebruiken in plaats van lange.
Door de 14 generaties lange ervaring en ontwikkeling bestaat hun sōgō bujutsu syllabus heden ten dagen uit 500 technieken.

Eén van de belangrijkste aspecten van de Takenouchi-Ryu is de ‘kogusoku koshi no mawari’ syllabus, die het gebruik van de kodachi samen met “Jiu-Jitsu” technieken onderwees. Deze hield volgende technieken in: val breken, worpen, klemmen en slagen op zenuwpunten. Opvallend was dat de worpen zodanig uitgevoerd werden dat de tegenstander zijn val niet kon breken. Een andere school in die tijd was de Shosho Ryu gespecialiseerd in het zwaard, Jo en “Jiu-Jitsu” technieken. Vermits de technieken in deze dojo’s enkel onderwezen werden aan familieleden waren ze onbekend bij het grote publiek.

Ontstaan van het huidige Jiu-Jitsu
Onder het militaire bewind van Tokugawa Ieyasu tijdens de Edo Periode (1603-1867), werd Japan een vreedzamer land.  Door gebrek aan oorlogen kwamen de bujutsu technieken in verval, er was namelijk geen reden meer om deze te blijven beoefenen.  De samoerai echter wilden hun kennis onderhouden en veranderden de bujutsu- in budo technieken. De dodelijke technieken werden hervormd in kata’s. De ongewapende stijlen begonnen de oudere gewapende stijlen te vervangen.  Men neemt aan dat er tijdens de Edo periode meer dan 700 stijlen van Jiu-Jitsu bestonden. In 1854 vond, met de landing van de Amerikanen, de openstelling van Japan plaats. Het Jiu-Jitsu raakte nu ook bekend bij Westerlingen.

Tijdens de Meiji periode (1868 - 1912), verplaatste de macht zich terug van de Shogun naar de Keizer.  Aangezien de samoerai kaste de Shogun steunde, werd er in 1876 een Keizerlijke wet uitgevaardigd die inhield dat de samoerai hun krijgs kunsten niet langer mochten praktiseren en niet langer hun wapens mochten dragen. Na de neergeslagen opstand van de samoerai in 1877 werd het beoefenen van Jiu-Jitsu verboden. Sommige meesters doken onder en namen het Jiu-Jitsu mee ondergronds.

1879 de Amerikaanse president Grant brengt een bezoek aan Japan en bezoekt een Jiu-Jitsu demonstratie, één van deelnemende Jiu-Jitsuka’s is Jigoro Kano. Drie jaar later, in 1882, ontwikkelde hij het Judo waar het Jiu-Jitsu als model gebruikt werd. Door het succes kwam Jiu-Jitsu weer op de voorgrond.

Jiu-Jitsu werd uitgeroepen tot cultureel erfgoed. Om het in stand te houden wordt in 1895 de organisatie Dai-nihon Butoku-kai in het leven geroepen. Een geschikte trainingsschool voor leraren, waar verschillende jiu-Jitsu sensei’s samenkomen, werd hiervoor gebouwd in 1905. Hier beslisten zij in samenspraak met Jigoro Kano welke technieken er zullen gebruikt worden in de Kodokan judo. Dit is waar de huidige Jiu-Jitsu technieken in kata’s werden gegoten.

Jiu-Jitsu komt naar het Westen
1902 De eerste dojo in Brussel is een feit, de gebroeders Alexander (Ito) en Maurice (Okita) Minne introduceerden "Ito Okita jujutsu" in België.
Yukio Tani de sensei van de gebroeders Minne opende in 1904 een dojo in Londen na een reeks demo’s gegeven te hebben.
Dat zelfde jaar zond Takeda Sokaku zijn leerling Shinzo Harada naar de Verenigde Staten op uitnodiging van president Theodore Roosevelt, om er demonstraties en les te geven.
Henry Sieshiro Okazaki verhuisde naar Hawaï in 1906 en begon er les te geven aan de gestationeerde Amerikaanse troepen.
Mitsuyo Maeda reisde in 1907 zo wat de wereld rond, om in 1914 te eindigen in Brazilië waar hij de Gracie familie ontmoette. In 1925 opende Carlos Gracie zijn eerste dojo.

Na het bekend raken van Jiu-Jitsu in het Westen, ontstonden er vele derivaten van deze kunst, met elk hun eigen specialiteit. Uit Jiu-Jitsu ontstond o.a. Mixed Martial Arts, Goshin jitsu, Gracie Jiu-Jitsu, Small Circle Jiu-Jitsu, pancrase, Kravmaga, No holds Barred, Submission fighting/wrestling, Shoot fighting, Shooto, e.v.a. .

Tot op heden zijn er nog 44 traditionele Jiu-Jitsu scholen in Japan, waarvan sommige ook enkele erkende scholen in het buitenland hebben. Deze scholen maken nog steeds gebruik van het Menkyo systeem om het niveau van de beoefenaar aan te duiden.