A crescente digitalização do poder público e o uso de sistemas automatizados para a tomada de decisões trouxeram agilidade e eficiência à administração pública, mas também trouxeram riscos. Os riscos e problemas associados à tecnologia podem ser maiores de acordo com os algoritmos utilizados e o grau de transparência do sistema. Apesar de a Constituição Federal de 88 prever o princípio da transparência, ainda são necessárias diretrizes para estabelecer requisitos que o poder público deve atender e quais informações devem ser fornecidas. O uso da inteligência artificial explicável pode auxiliar a compreender o funcionamento do sistema e viabilizar o uso responsável e auditável da inteligência artificial. As experiências nacionais e internacionais mostram que a falta de explicação do algoritmo e da finalidade do sistema, aliada à ausência de uma discussão pública prévia, contribuem para os efeitos negativos em grande escala. Os princípios constitucionais da publicidade, motivação e transparência justificam esforços neste sentido. A principal contribuição deste trabalho foi estabelecer uma ligação entre o dever constitucional de transparência no setor público e a transparência nos sistemas de inteligência artificial, além de estabelecer diretrizes de governança de inteligência artificial para concretizar este princípio.