Vamos Deletar!

Como excluir (remover, deletar, apagar) um arquivo usando C#
Este trecho de código mostra como excluir um arquivo usando o método Delete() da classe File. Este método recebe uma string contendo o caminho e nome do arquivo a ser excluído. Veja o exemplo:

static void Main(string[] args){
  // não esqueça
  // using System.IO;
  
  // caminho e nome do arquivo
  string arquivo = "C:\\estudos_csharp\\arquivo.txt";
  
  // vamos excluir o arquivo
  File.Delete(arquivo);
  Console.WriteLine("Arquivo excluído com sucesso.");

  Console.WriteLine("\n\nPressione uma tecla para sair...");
  Console.ReadKey();
}

Fonte 1

Outro exemplo:

//Chame o namespace System.IO  
using System.IO;  
  
    
//Este é o código para deletarmos o arquivo  
//Veja que para chegar ao arquivo que está na pasta   
//raiz do meu aplicativo usei o Server.MapPath, este  
//comando pega todo o caminho onde está   
//a aplicação até a raiz, seguido do nome do arquivo  
  
File.Delete(Server.MapPath("teste.jpg"));



Fonte 2

Basta dar o caminho do arquivo dentro do método, que o C# deletará.