Erken Devoniyen döneminde, köpek balıklarının 400 ila 450 milyon yıl önce balıklardan geliştiği görülmektedir. Bilinen en eski köpekbalıkları oldukça küçüktü ve sadece 12 ila 16 inç uzunluğunda ölçüldü. Antartika'da olanların yanında ya da üstünde yaşadıkları görülüyor.
360 milyon yıl önce Carboniferous döneminin başında, bazıları modern köpek balıklarına oldukça benzeyen birçok köpekbalığı türü vardı. Permiyen döneminin sonunda, yaklaşık 245 milyon yıl önce, büyük bir nesli tükenme olayında birçok köpek balığı türü yok edildi. Jurassic döneminin başında, yaklaşık 213 milyon yıl önce modern köpekbalıkları ortaya çıkmaya başladı ve o zamandan beri okyanuslarda yaşadı.
