Qua quá trình lịch sử ta thấy đảo Phú Quý là vùng đất thuộc sở hữu của người Chăm suốt một quá trình lâu dài đến cuối thế kỷ XVII, nên điều hiển nhiên là yếu tố văn hoá trên đảo trước tiên hết phải nói về nguồn gốc Chăm.
Khái quát về lịch sử hình thành rồi biến mất của vương quốc Champa và văn hoá của người Chăm sẽ giúp ta hiểu rõ hơn về đặc trưng của đảo Phú Quý với nguồn gốc Chăm.
Bắt đầu từ tên gọi đầu tiên là Koh rong là tên gọi đảo Phú Quý theo tiếng Chăm, về sau khi đến tiếp quản đảo người Việt mới gọi là Cổ Long theo phiên âm từ chữ Koh rong.
Phú Quý thuộc tỉnh Bình Thuận trước đây là Panduranga thuộc vương quốc Champa của người Chăm. Vương quốc Champa hình thành và phát triển trên dãy đất miền Trung trải dài từ Quảng Bình đến hết Bình Thuận ngày nay, đó là cương vực trên đất liền, ngoài ra họ gần như làm chủ toàn bộ các đảo ven bờ và vùng ven biển Đông (trong đó có đảo Phú Quý). Vương Quốc này tồn tại từ khoảng thế kỷ thứ VII đến năm 1832. Văn hóa Champa chịu ảnh hưởng của văn hóa Ấn Độ và Campuchia. Đến năm 1832 toàn bộ vương quốc này chính thức bị sáp nhập vào Việt Nam dưới thời vua Minh Mạng.
Những người lớn tuổi trên đảo còn ghi nhớ về truyền thuyết Chàm Vung (con ma Chàm) được truyền miệng lại là một sinh vật nguy hiểm, hình dạng giống con tắc kè đầu màu đỏ, tiết ra chất dãi rất độc có thể gây chết người không ai có thể chữa được nếu dính phải. Ma Chàm giữ đất của người Chăm, ai mạo phạm những chốn linh thiêng thường bị trúng bùa phải mời thầy về cứu giải. Những niềm tin tín ngưỡng truyền miệng này dần đã không còn, hỏi đến cũng ít người trẻ biết, nhưng qua đó phần nào chứng minh được yếu tố Chăm của cư dân đảo Phú Quý.
Truyền thuyết Công chúa Bàn Tranh ở Phú Quý bị đày ra đảo chứ không nói rõ triều đại và thời vua nào của Champa, tên Bàn Tranh là tên mà người Việt gọi Bà, còn tiếng Chăm gọi Bà là gì thì cũng không thấy ghi chép lại. Căn cứ sử liệu ghi tên các vị vua Chăm thì trong tất cả các vị đó chỉ có vua Po Saut thuộc triều đại thứ VIII với Hán văn ghi là Bà Tranh trị vì vùng Pandugranga từ 1659 đến 1692. Năm 1692, Vua Chăm Po Saut đã tấn công quân của chúa Nguyễn nhưng cuộc tấn công thất bại và Po Saut mất ngôi.
Đến năm 1695, Nguyễn Hữu Cảnh một lần nữa chỉ huy đánh bại quân Chăm của Po Saktiray Da Patih (em trai của Po Saut), sau đó Panduranga được đổi thành Thuận Thành Trấn nằm dưới sự quản lý của chúa Nguyễn. Như vậy phù hợp nhất với tên Công chúa Bàn Tranh chính là vua Bà Tranh – Po Saut. Phú Quý cũng nằm trong vùng Pandugranga tức Ninh Thuận và Bình Thuận ngày nay. Nhưng khi nói về thời gian xây dựng đền thờ Công chúa Bàn Tranh thì là người Chăm lập vào cuối thế kỷ XV đầu thế kỷ XVI nên Công Chúa Bàn Tranh phải là người sống vào thế kỷ XV, như vậy so với giả định mới nói trên thì lệch nhau khoảng một thế kỷ, điều này cần có sự nghiên cứu cụ thể về khoa học lịch sử.
Một trong những tín ngưỡng phổ biến của người Chăm là thờ nữ thần Poh Yang Inư Nagar (hay Po Ino Nogor), đặt biệt tại vùng Kauthara của vương quốc Champa xưa với trung tâm đặt tại Nha Trang tỉnh Khánh Hoà ngày nay được xem là quê hương của vị nữ thần này. Hiện tại ở thành Phố Nha Trang vẫn còn tháp thờ vị thần này gọi là tháp Chăm Ponagar. Vị nữ thần này được người Chăm thờ phụng như là mẹ xứ sở với thần tích. Theo nghiên cứu về văn hoá tôn giáo của người Chăm thì có thể xác định vị nữ thần này lấy hình tượng từ một vị thần trong đạo Hindu của Ấn Độ chính là nữ thần Parvati. Parvati mang sức mạnh âm tính (yếu tố nữ) là vợ của thần Shiva (vị thần huỷ diệt có quyền tối thượng) và là hóa thân mang yếu tố thiện của Đại Thiên Nữ Mahadevi. Parvati còn được xem là một hiện thân hoàn chỉnh của Adi Parashakti là nữ thần sáng hế tối cao, tất cả các nữ thần khác đều là hiện thân của Adi Parashakti . Khi du nhập vào cộng đồng người Chăm với tác động tín ngưỡng bản địa nên nữ thần Parvati trở thành nhân vật huyền thoại mang yếu tố thần xứ sở của người Chăm Pô Inư Nagar và đến người Việt là Bà Chúa Ngọc. Tín ngưỡng thờ Bà Chúa Ngọc trên đảo Phú Quý thể hiện quá trình giao thoa, tiếp biến văn hóa và biểu hiện sự tương đồng trong văn hóa tín ngưỡng thờ mẫu giữa người Việt và người Chăm, trong quá trình cộng cư trên vùng đất miền Trung.
Người Chăm sống dọc theo bờ biển Miền Trung có thờ một vị thần biển của họ gọi là Po Riyak. Tương truyền Po Riyak bị cá nuốt, sau này Po Riyak hiển linh hiện thân cứu giúp những người gặp nạn trên biển, được người Chăm tôn thành thần gọi là thần Sóng biển và thờ phụng ở hầu hết các làng Chăm ở Ninh Thuận. Truyền thuyết về vị thần biển hay ra tay cứu giúp những người gặp nạn trên biển là rất tương đồng với tín ngưỡng suy tôn cá voi là Thần Nam Hải của người Việt. Chính vì vậy có ý kiến cho rằng tục thờ thần Sóng biển Po Riyak của người Chăm chính là nguồn gốc của tục thờ cá voi của cư dân người Việt sống dọc ven biển miền Trung, trong đó có Phú Quý cũng là điều có thể chấp nhận được. Như vậy tục thờ cá voi cũng thể hiện quá trình giao thoa, tiếp biến văn hóa giữa người Việt và người Chăm, trong quá trình phát triển kinh tế ngư nghiệp.
Ngày nay, tuy người Chăm không còn sinh sống trên đảo nhưng những truyền thuyết và di tích còn lại đã chứng tỏ sự tồn tại của họ như: đền Bà Chúa thờ công chúa Bàn Tranh, các ngôi mộ, giếng cổ của người Chăm ở xã Long Hải và truyền thuyết nói về sự linh hiển của công chúa Bàn Tranh.
Tuy nhiên, khi giao thông thuận tiện ra đảo, một bộ phận người Chăm ở đất liền thuộc khu vực Ninh Thuận, Bình Thuận cũng đã tìm ra đảo vào những ngày có lễ hội ở đền Bà để cúng bái theo phong tục truyền thống người Chăm. Vào ngày lễ hội có liên quan đến công chúa Bàn Tranh, những đoàn hành hương người Chăm từ đất liền khu vực Ninh Thuận Bình Thuận thường tổ chức (từ 2015 trở lại đây) ra đảo cúng bái theo nghi thức lễ cúng của người Chăm. Ban tế lễ ở các cơ sở tín ngưỡng đều rất hoan nghênh chào đón, tạo mọi điều kiện về thời gian và vật chất có thể để giúp họ thực hiện những nghi lễ truyền thống của dân tộc Chăm xen kẽ với các lễ tế thần chính theo phong tục người Việt.
Do điều kiện sống khách quan, nên người Chăm rất giỏi về làm nương rẫy, và có truyền thống làm thủy lợi rất đặc sắc. Về mặt tín ngưỡng họ là những người đa thần và tôn thờ vật tổ (Tôtem), luôn tạo ra những niềm tin thần bí về vật tổ hoặc các vị anh hùng của họ. Trong thói ăn nếp ở của mình, người Chăm luôn thể hiện tính văn hóa truyền thống và nhất nhất tuân thủ những điều luật ấy. Chẳng hạn như họ không bao giờ trồng cây xanh quanh nhà vì sợ có ma quỷ trú ngụ. Để bảo vệ ngôi nhà của mình, họ thường xây những tường đá thấp bao quanh nhà (trong tín ngưỡng của người Chăm, đá luôn là một vật thể có linh hồn và rất linh thiêng). Bên cạnh đó, người Chăm còn rất giỏi trong các ngành nghề thủ công truyền thống như: dệt vải và làm đồ gốm.
Được xem là những chủ nhân đầu tiên cư ngụ tại đảo Phú Quý và cũng là những người rời đảo sớm nhất, người Chăm đã kịp để lại cho mảnh đất bé nhỏ một di sản văn hóa tinh thần và vật chất phong phú. Mà người được thừa hưởng những tinh hoa văn hóa ấy, không ai khác là những lưu dân đến từ dải đất miền Trung chật hẹp, gian khó. Từ buổi ban đầu bỡ ngỡ khi đặt bước chân lên hòn đảo nhỏ “xứ sở lạ lùng, con chim kêu cũng sợ, con cá vùng cũng kinh”, những tộc người Việt đã sớm nhận ra giá trị của nền văn hóa Chăm và đã nhanh chóng tiếp thu một cách chủ động có chọn lọc, trên tinh thần gạn đục khơi trong. Mà trước hết là đón nhận lấy những gì tốt đẹp, tiện ích phục vụ cho nhu cầu sống tối thiểu của mình. Không có thói quen “dựng nhà mái thấp, ít cửa sổ, đi phải khom lưng như người Chăm”, nên người Việt vẫn xây dựng nhà cửa thoáng mát, cao rộng.
Thế nhưng ở đảo, mỗi khi đổi mùa thì đất, cát và gió cứ tung bay trắng trời. Để đối phó với thiên nhiên, người Việt đã học hỏi cách xây tường rào bằng đá của người Chăm để che xung quanh nhà. Mỗi khi đi làm nương, phải vượt qua những gò đồi cao, cây cối rậm rạp, cát nóng phỏng chân, lại phải thồ vác nặng, thì nhờ có chiếc gùi được làm theo cách của người Chăm, nên bà con lưu dân mới phần nào vơi bớt mệt nhọc. Để đối phó với môi trường khí hậu khắc nghiệt, nhất là vào những buổi trưa hè oi ả nóng bức, rát mặt bỏng chân, những đêm khuya giá rét lênh đênh trên biển để câu mực, đánh cá, những ngày mùa thất bát đói kém, người Việt cũng đã học hỏi kinh nghiệm làm nương rẫy, trồng bông, dệt vải của người Chăm, để giải quyết nhu cầu ăn mặc. Vốn chăm chỉ lại khéo tay, nên họ nhanh chóng tìm được bí quyết ngành nghề để tạo ra những súc Vải Bạch bố bền chắc, trồng được các loại đậu, bắp, khoai có chất lượng cao.
Xem thêm: Những dấu ấn người Hoa ở đảo Phú Quý