回族把服饰通常称为“衣着”、“穿戴”。宋代朱或在《萍洲可谈》中载：“广州蕃坊，蕃人衣裳与华异”唐宋时期，有大量的阿拉伯、波斯来的商人，一般都被称为“蕃客”，这是回族的先民。这就看出，当时回族先民的服饰与汉族不同，是有自己特点的。顾炎武《天下郡国利病书》中则记载得更明确：“宋时蕃商巨富，服饰皆珍珠罗绮，器用皆金银器皿。”可见他们当时穿的是有花纹的丝织品，佩戴戒指，使用金银器具等。
回族男子头缠“戴斯达尔”、戴白帽的习俗，也在很早以前就有了。宋代周辉《清波别志》说：“层檀，南海旁国也。贵人以好越布缠头。人之言语如大食。”元代，回族人的政治、经济、文化地位都比较高，回族人的服饰习俗和其他习俗一样，都是自由的，没有任何限制，有着汉族服装的，有穿阿拉伯、波斯等地样式的，有自制的白帽、巾袍和鞋等，开始向民族服装发展。但是，到了明代，回族人的服饰习俗就开始受到限制。回回民族不是依据信仰习俗和祖先的服装样式，结合在中国居住发展的实际来想穿什么就穿什么，想怎么打扮就怎么打扮，而是受到了统治阶级的强迫命令和限制。明太祖朱元璋建国后，采取禁止“胡服”的政策，让回族人民着汉装，这样，回回民族开始形成的服饰习俗就不能很快得到发展，也不能受到尊重。到了清代，统治阶级对回族人民更存偏见。雍正初年，山东巡抚陈世宫和署理安徽按察司鲁国华等地方大员向清廷上疏，对回民的服饰、信仰等横加指责、干涉，妄加罪名，说回民“平日早晚皆戴白帽，设立礼拜”因此，他建议：“请令回民遵奉正朔，服制，一应礼拜等寺，尽行禁革。戴白帽者以违制律定拟。”
这样，回族的服饰，既受到了西域民族的影响，又受到了统治阶级的强迫限制。但是，回族服饰并没有因为统治阶级禁止就完全屈服而全部改着汉装，而把一些带有伊斯兰教特色和民族特色较浓的服饰习惯，坚持和保留了下来。如清代袁大化《新疆图志》记载：“阿訇之帽，上锐而高，檐以白布绽之，厚二三寸，脱帽为敬。人门必解履。妇女必障面。皆古制也。”又说“惟寺中礼拜，戴棱冠。上锐下圆，五色皆备，而白者为多”。直到今天，回民仍然头戴白帽，有的头缠“戴斯达尔”，女的搭盖头等，这都是回族服饰习俗发展变化的重要特征。
