История создания следственных органов в России началась с инициативы Петра I в рамках судебной реформы. В ходе этой реформы, осуществленной Петром I, было введено разделение уголовного процесса на стадии предварительного расследования и судебного разбирательства.
25 июля (5 августа) 1713 года Петр I учредил первый специализированный следственный орган в России — следственную канцелярию гвардии майора Семёновского полка Михаила Ивановича Волконского. Этот шаг сформировал основы для создания ежегодного профессионального праздника — Дня сотрудника органов следствия Российской Федерации.
Согласно Наказу «майорским» следственным канцеляриям от 9 декабря 1717 года, эти органы были подчинены непосредственно Петру I. Они занимались делами о наиболее опасных преступлениях, в первую очередь коррупционной направленности, совершаемых высокопоставленными должностными лицами органов государственной власти.
В феврале 1718 года в Петербурге была учреждена Тайная канцелярия для следствия по делу царевича Алексея Петровича. Это ведомство занималось политическими делами и позднее объединилось с Преображенским приказом.
Указом Александра I от 29 августа 1808 года была учреждена должность следственных приставов в Санкт-Петербурге. Эти приставы входили в состав городской полиции, подчиненной Министерству внутренних дел.
В 1864 году Судебным уставом была учреждена должность судебного следователя при окружных судах. Однако в 1917 году они были упразднены декретом о суде.
В период с 1922 по 1928 годы в СССР были созданы различные следственные должности, но в 1928 году они были упразднены, и их функции перешли к следственному отделу Прокуратуры РСФСР.