Tương truyền rằng, ông tổ nghề của làng tên là Hoàng Sùng, người làng Nhồi (Thanh Hóa) ra Ninh Vân sinh sống, lập nghiệp và truyền nghề lại cho con cháu.

Ban đầu thợ chế tác đá làm các sản phẩm đơn giản phục vụ mùa màng như cối giã, cối xay, con lăn trục lúa… Lâu dần, sản phẩm của các nghệ nhân đa dạng, phong phú, hiện đại, tầm cỡ hơn.

Trước đây, các công đoạn trong nghề chế tác đá như khai thác, vận chuyển đá từ trên núi, xẻ đá, mài, đục… được làm hoàn toàn thủ công, nên nghề làm đá vất vả, số lượng sản phẩm làm ra có hạn. Ngày nay, với sự hỗ trợ của máy móc nên đã cho năng suất lao động tăng lên gấp nhiều lần.

Hầu hết các gia đình trong làng đều theo nghề làm đá, sản phẩm làm ra tại đây được đưa tới mọi miền đất nước và cả nước ngoài. Với niềm tin nghề truyền thống của làng đã và đang góp phần gìn giữ những giá trị văn hóa tốt đẹp của dân tộc, những người con sinh ra tại làng nghề đều mong muốn được theo học nghề để làng nghề truyền thống từ xa xưa của cha ông truyền lại còn mãi tới mai sau.

Tuyệt tác bằng đá được làm hoàn toàn bằng thủ công cách đây hàng trăm năm có thể kể đến Đình làng Xuân Vũ (Ninh Vân), căn nhà đá của ông Lương Văn Thiện và căn nhà đá của nghệ nhân Đỗ Khắc Đức.

Ông Phạm Ngọc Sỹ, Chủ Từ trông coi ngôi đình cho hay, Đình làng Xuân Vũ (Ninh Vân) được xây dựng vào khoảng năm 1730 thời vua Lê Cảnh Hưng. Trước kia, vật liệu làm đình chủ yếu là gỗ lim, xây bằng vôi vữa và gạch nung. Do thời tiết và chiến tranh tàn phá, ngôi đình làng cũ bị hư hỏng nên được phục dựng lại hoàn toàn bằng đá, nhưng vẫn giữ nguyên nét kiến trúc của ngôi đình cũ.

Đình có 12 cột cái (cao 4m) và 12 cột quân bằng đá được chạm khắc tinh xảo, kết nối với nhau rất chắc chắn và vững chãi. Tại các mối nối được ghép với nhau bằng các mộng và được che phủ bởi những họa tiết "rồng bay - phượng múa", "long ly quy phượng"...

Các cột cái được chạm khắc rồng, các cột con được chạm khắc cỏ cây hoa lá, chim muông, đặc biệt là 4 cây đại diện cho 4 mùa: Xuân - Hạ - Thu - Đông với Tùng - Trúc - Cúc - Mai.

Ngôi đình không chỉ là nơi tổ chức các lễ hội lớn của làng mà còn là nơi tổ chức lễ giỗ cụ tổ làng nghề đá Hoàng Sùng diễn ra vào ngày 16/8 Âm lịch hàng năm.

Ngôi nhà đá của ông Lương Văn Xiển được làm từ năm 1934. Đã hơn 84 năm nhưng căn nhà đá vẫn sừng sững như một chứng nhân của thời gian. Ông Xiển từng là một trong những thợ chế tác đá giỏi có tiếng trong làng. Ông được mời tham gia xây dựng ngôi nhà thờ đá Phát Diệm (Kim Sơn, Ninh Bình) nổi tiếng.

Sau khi xây dựng xong nhà thờ đá Phát Diệm, ông Xiển mời những người thợ cùng làm về quê xây dựng căn nhà ở cho gia đình. Ông cùng tốp thợ đã xây dựng căn nhà làm hoàn toàn bằng đá kiến trúc nhà 3 gian 2 chái đặc trưng của vùng Bắc Bộ xưa trong thời gian 2 năm.
Sau khi ông Xiển qua đời, ngôi nhà được con cháu trong gia đình lần lượt cùng nhau sinh sống và giữ nguyên giá trị của nết nhà xưa. Hiện ngôi nhà đang do bà Đinh Thị Long là cháu dâu của ông Xiển ở và gìn giữ.

Ngôi nhà làm hoàn toàn bằng đá của ông Đỗ Khắc Đức được xây dựng vào năm 1954. Ông phải mất 4 năm mới hoàn thành được ngôi nhà của mình. Cho đến nay vẫn hằn rõ những câu thơ trên cột đá: “Cảnh vật vui chung với nước non. Đến vạn ngàn năm vẫn cứ còn. Làm cho rạng vẻ nhà tế thế. Đem về truyền tử đến lưu tôn”.

Một kỷ lục mới được thế hệ nghệ nhân trẻ thiết lập đó là công trình cổng làng nghề đá mỹ nghệ Ninh Vân. Công trình do Công ty TNHH Trần Bùi Minh thiết kế và thi công.

Với độ cao và rộng hàng chục mét, cổng làng Ninh Vân đã đứng đầu hàng danh sách các cổng làng được xây bằng đá, to và đẹp nhất nước. Điều khác biệt ở đây là các cột được xây từ những tảng đá nguyên khối chồng lên. Các cột dựng đều có những hoa văn rồng uốn lượn, tạo nên sự bay bổng hài hòa, làm giảm đi cảm giác nặng nề. Đường nét kẻ vẽ trên đá, nhìn thanh thoát nhưng không kém phần kỳ vĩ.

Một tuyệt tác thuộc dòng tâm linh được các nghệ nhân Ninh Vân thiết lập kỷ lục đó là 500 vị La Hán đang được trưng bày tại chùa Bái Đính.

Nghệ nhân Phạm Viết Hoàn cho biết, đá để chạm 500 vị La Hán được lấy ở núi Thiện Dưỡng, mỗi khối đá nặng khoảng 5 - 6 tấn. Để hoàn thành được tuyệt tác này, các nghệ nhân đã phải mất khoảng 4 - 5 năm. Riêng việc sáng tạo mẫu 500 vị La Hán của các nhà điêu khắc đã ngót một năm mới xong. Để có một tượng La Hán, một thợ chính và một thợ phụ phải làm trong 3 tháng mới hoàn chỉnh.

Các vị La Hán cao đến 2,5m (cả bệ), khác nhau về hình dáng, khuôn mặt, từ mắt, mũi, tai, miệng, gò má…, không tượng nào giống tượng nào chính là 500 tác phẩm nghệ thuật điêu khắc đá tài hoa của người thợ đá Ninh Vân.

Tuyệt tác 500 vị La Hán được trưng bày tại chùa Bái Đính đã xác lập kỷ lục về chùa có số tượng La Hán nhiều nhất của Việt Nam và khu vực.

Các công trình nổi tiếng khác đã được người làng nghề Ninh Vân dốc lòng xây dựng bằng cả tâm huyết và lòng yêu nghề của mình như: Cụm tượng đài Bà mẹ Tổ quốc, ở TP Hồ Chí Minh; cụm tượng đài Thanh niên xung phong, chống Mỹ cứu nước, ở Quảng Trị; tượng Mẹ Suốt, tại Quảng Bình; tượng Trần Hưng Đạo, ở Chí Linh (Hải Dương); đặc biệt là cụm tượng đài ở Nghĩa trang Trường Sơn và tượng đài Bác Hồ ở Nghệ An… đều đạt đến độ tinh xảo, độ lớn và được làm bằng đá lớn ghép liền mạch.