"Žraloci" ze San José byli jediní, kdož získali před jubilejní 75. sezónou licenci NHL. Sharks se v sezóně 1991-1992 stali dvaadvacátým klubem NHL. Byli zařazeni do Smytheovy divize.  Klub založili bratři George a Bob Gundové krátce na to co prodali v roce 1990 Minnesotu North Stars. Z Minnesoty získali "žraloci" vedle majitelů i několik hráčů v rozšiřovacím draftu.

Město San José ležící v zálivu při San Franciscu má 780 tisíc obyvatel. Zájem o lední hokej  v Kalifornii byl, vždyť žraloci prodali před první sezónou 8.500 permanentek. Většina zápasů byla také vyprodána. Klub dělál hodně i pro popularizaci tohoto sportu. Před sezónou 91-92 hráči absolvovali přes dvě desítky besed a přednášek v mládežnických klubech. Navíc bylo ve městě i okolí k dostání množství videokazet z hokeje a různých knih. "Stali jsem se prvním ze sedmi klubů, které mají NHL do roku 2000 rozšířit na osmadvacet týmů. Chceme tento sport propagovat v USA, aby se tu stal stejně populárním, jako je v Kanadě. Na zkvalitnění hráčského kádru v draftech však potřebujeme nejméně pět let, pak můžeme myslet výš," řekl velký propagátor ledního hokeje v USA a místopředseda Sharks Matt Levine.

Trenérem týmu se stal známý George Kingston. V brance se vedle Briana Haywarda objevil   Arturs Irbe, v obraně Bob McGill , Neil Wilkinson a skvěle si vedl první kapitán klubové historie veterán Doug Wilson. Do útoku získali vynikajícího střelce Tima Kerra a hodně si slibovali od devatenáctiletého Pata Falloona získaného jako vůbec první volba Sharks v draftu.

V prvních dvou sezonách zaplatilo San José krutou nováčkovskou daň. Ve 164 utkáních zaznamenali pouze 28 výher, 7 remíz a 129 proher. Bilance opravdu hrozivá, ale pod vedením nového trenéra Kevina Constantinea, bývalého trenéra národního mužstva USA, se během pouhého jednoho roku zlepšili natolik, že na konci sezóny 93-94 měli o 58 bodů víc než rok před tím a v tomto směru dosáhli v NHL rekordu. Nasazené tempo si přinesli i do zápasů play-off kde po sedmém zápase nabitém emocemi porazili Detroid Red Wings. Na druhé kolo a tým Toronta jim však už síly  nezbývaly. O další obrovské překvapení se postarali v ročníku 94-95, když v zahajovacím kole play-off vyřadili Calgary Flames.

Po této sezoně odešlo ze San Jose několik hlavních postav, včetně trenéra K.Constantinea.Nahradil jej Jim Wiley, trenér farmářského systému San José. Pravé křídlo P. Falloon byl odeslán do Philadelphie. Rtuťovitý obránce a klíčový hráč při hře v oslabení S. Ozolinsh byl vyměněn s Colorádem za tvrdého a velmi dobrého střelce Owena Nolana. Z mužstva byli vyřazeni stárnoucí veteráni Sergej Makarov a Igor Larionov, které nahradil nadějný Jeff Frisen, jenž okamžitě patříl k nejvíce bodujícím hráčům klubu.                                                                   

V polovině 90.let již nelze tým považovat za outsidera neboť se v kádru začali objevovat ostřílení borci těchto jmen : K. Hrudey, M. Vernom, M. McSorley, G. Suter, B. Nicholls, J. Murphy, T. Granato a M. Ricci. Na výrazný úspěch  si však San José bude muset zřejmě  ještě počkat.