Depende de N fatores.
Primeiro, sua ideia por Ideologia.
Ideologia está acima do campo política e perpassa inclusive questões éticas e morais, ainda tendo isso em mente vai depender de qual corrente de pensamento você vai seguir na divisão direita e esquerda. Eu prefiro concordar com o Príncipe Luiz Phillipe de que a divisão que perpetua na mente do brasileiro agora é nociva demais para o debate. Na cabeça do brasileiro a esquerda quer o comunismo e a direita a volta do regime militar. Isso é fraco em níveis estratosféricos para o debate.
A visão de direita e esquerda tem que estar muito mais centrada no campo do Capitalismo x Estatismo (de qualquer espécie) passando pelos núcleos da Propriedade Privada e Livre Iniciativa. Tendo isso em mente, a visão de Direita que adoto, que acredita na liberdade e propriedade, e dentro dessa última propriedade sobre sua vida, seu corpo e seus direitos fundamentais, acredita que o Estado não deve interferir na sua liberdade. Fixando isso em mente fica claro que "extrema-direita" não seria um saudosista da ditadura militar e sim um Libertário/Anarcocaptalista, haja vista ele defende a liberdade máxima sem a existência do Estado para interferir. Nesse cenário onde você é livre e tem responsabilidade sobre si e seus direitos, você passa a entender que não é papel da sua ideologia ou da política interferir em casamento entre pessoas de mesmo sexo, liberdade religiosa, liberdade de expressão.
Nesse aspecto, eu vejo que acreditar nessa liberdade e criticar a atuação do Estado nessas esferas (que estaria mais no campo da Direita se optarmos pela divisão correta do debate e não por essa tendência brasileira anormal) faz sim você uma pessoa melhor, ao passo que você entende que as pessoas são livres, e que você deve respeitar as liberdades dela assim como elas devem respeito as suas. Assim sendo, o Estado fica longe da sua casa, da sua vida e da sua família. Quando você defende o contrário, que o Estado se meta em tudo e regule tudo, você está deixando implícito que existem "famílias" ou "lares" que não estão seguindo seu padrão ideológico. Daí surge o ódio e a intolerância que podem sim te levar a ser uma pessoa "pior".
Pegando meu exemplo, antes de ingressar no ensino superior e me dedicar ao estudo da Ciência Política eu era o "bitolado da direita" que queria regime militar e gritava Bolsomito, ai é que está, eu achava que era direita enquanto eu queria que o Estado cuidasse da minha vida, proibindo minha família e outras crianças de verem por exemplo, casais gays na TV. Quando passei a entender de verdade o papel do Estado, seu surgimento e as consequência de seu agigantamento que eu me atentei que essa divisão que defendemos não existe, ela é bem mais intensa. Aprendi a respeitar as diferenças e debater no campo das ideias e não da paixão. Inclusive numa sala do meu curso, onde a maioria se enquadraria em uma ideologia mais "a esquerda", mais estatista e menos "capitalista" eu me dou bem com todos mesmo tendo ideais completamente opostas e sendo agente de debates fervorosos em sala.