Experimenta pegar um dos seus projetos Go que esteja hospedado no GitHub e fazer um "strings nome_do_binario| grep github" você vai ver que Go salva muita coisa incluindo o path até o fonte no GitHub.
Para diminuir (mas não resolver) o problema:
go build -gcflags "all=-trimpath=$GOPATH"
...
https://www.youtube.com/watch?v=aD1DarVISD8