E ai igor,

essa dúvida não diz muito respeito a java, mas sim a Orientação a Objetos, uma boa leitura sobre o assunto vai te ajudar muito a entender melhor o Java.

instância e herança(extends) são conceitos bem diferentes,
uma instância, criada atráves do operador new, corresponde ao ato de 'criar' ou 'dar vida' a uma classe, ou seja, enquanto classe ela é apenas uma representação, uma descrição, algo abstrato, ao instancia-la ela passa a existir em forma de um objeto, e você poderá alterar seus atributos e utilizar seus métodos.
No seu exemplo vc criou uma isntância da classe JFrame chamada formulario.

Já á herança, utilizada através do modificador extends, indica que a uma classe ira "herdar" todos os atributos e métodos visiveis da classe pai, ou seja, a classe Formulário que você criou, terá também todas os atributos e métodos visiveis da classe JFrame, nela você podera adicionar novos atributos e metodos ou ainda sobreescrever os metodos da classe JFrame, entre outras possibilidades.
No seu exemplo vc criou uma classe Formulario que herda de JFrame, logo você podera criar uma instância da sua classe dessa forma:
Formulario form = new Formulario();

Atenciosamente,
Filipe Portes
Arquiteto de Software - Desenvolvedor Senior Java EE/Web/Flex
omeuefilipe@gmail.com