Cette manufacture, fabricant une draperie de luxe est née d'une initiative de Colbert : en 1665, il invite le riche fabricant zélandais Josse Van Robais à s'installer en France et lui accorde un privilège de manufacture. Cette action s'inscrit dans le programme mercantiliste de développement économique de Colbert. Van Robais peut amener avec lui 50 artisans et il a le monopole de la fabrication des draps dits "à la façon de Hollande et d'Espagne" dans le royaume de France. De plus Colbert lui garantie, l'exclusivité de la fabrication des draps fins dans la ville et à dix lieues à la ronde, l'exemption des droits d'entrée sur les laines d'Espagne, l'exemption des droits de sortie pour les draps à l'exportation, ainsi que l'exemption de tous impôts.
Le maire d'Abbeville et les Echevins ont ordre de faciliter son installation. La manufacture créée par Van Robais est Manufacture Royale et bénéficie ainsi de la protection du Roi et d'aides conséquentes : 12 000 livres à sa création et 2 000 livres par métier à tisser monter dans les 3 premières années après son installation. Puis ce sont 80 000 livres qui sont prêtées, suivi d'une remise de dette de 20 000 livres.
En 1666 et 1667, Josse Van Robais achètent des terrains en bord de Somme, à l'Ouest de la Ville. Il y fait construire de modestes bâtiments et un moulin. Mais l'expansion de l'activité amène la dispersion dans de nombreuses boutiques d'Abbeville des métiers à tisser. D'autres bâtiments essaimés dans la ville servent à fabriquer du savon pour le dégraissage de la laine et abritent les activités de filage et même une brasserie.
La manufacture emploie 500 ouvriers à la mort de Josse Van Robais. Son fils aîné, Isaac lui succède, puis son cadet aussi prénommé Josse, dit de Ryxdorp. En 1708, les Van Robais décident de réunir leurs activités. Près de la Porte d'Hocquet, à la sortie ouest de la Ville, ils acquièrent de grands jardins et entreprennent la construction, dès 1709, de la manufacture des Rames. Des canaux sont creusés pour la relier à la Somme. En 1714, la construction est suffisamment avancée pour y réunir la quasi-totalité des 2000 ouvriers dans des ateliers de teinturerie et tissage, des laveries et des magasins. On y trouve aussi une forge, des logements pour certains ouvriers et un grand corps d'habitation pour les bureaux et le logement des Van Robais...
Alors que les draps de laine très fins des Van Robais sont recherchés dans toutes les cours d'Europe pour la confection de culottes et redingotes, les conditions de vie des ouvriers sont très dures. Une grève dure est déclenchée en 1716. Vite réprimée par les Dragons du roi, elle n'ébranle pas la prospérité des affaires et permet au contraire d'améliorer l'organisation de la police intérieure de la manufacture.
En 1724, la manufacture est à son apogée. Elle emploie plus de 3 000 ouvriers. Les Van Robais obtiennent le privilège de pouvoir marquer leurs pièces de drap d'un plomb portant les armes royales. Ils se lancent alors dans les affaires : négoce maritime, finance, fourniture aux armées... Le neveu de Josse Van Robais de Ryxdorp, prénommé Isaac, comme son père, se fait construire un somptueux hôtel particulier "maison neuve". Son frère Abraham s'impose dans le Ponthieu mais aussi à la cour. En 1751, il décide la construction d'une "folie", le château de Bagatelle, aux portes d'Abbeville.
Les privilèges initialement accordés pour 20 ans sont renouvelés à plusieurs reprises, jusqu'en 1768, où l'exclusivité est supprimée. En 1784, les autres privilèges ne sont pas non plus renouvelés, au nom des idées de libre-entreprise qui prévalent alors. Mais pendant plus d'un siècle, les Van Robais, forts de ces aides, développent leurs activités, faisant reconnaître partout en Europe la qualité de leur production.
Un ensemble d'éléments défavorables concourent au déclin de l'activité : fin du monopole en 1768, traité autorisant l'entrée libre en France des étoffes anglaises, sans réciprocité pour les draps français, spéculations hasardeuses des Van Robais. En 1788, alors que la manufacture compte encore environ 1800 ouvriers, les activités cessent et la manufacture est vendue en 1805 à un marchand d'Elbeuf qui n'y produira plus que des draps ordinaires dits d'Elbeuf.
