En la web esta disponible la versión instalable y la comprimida en zip. Aunque la comprimida no se instale no quiere decir que no cree ficheros en otros directorios como en documentos o en AppData.
Para que sea realmente portable antes de ejecutar por primera vez el .exe hay que crear una carpeta con nombre portable en el directorio principal, entonces al ejecutarlo creara ahí todos los ficheros extras.

https://www.arduino.cc/en/Guide/PortableIDE