Image generation speed for M4 Max Macbook Pro using mflux

[kasnol]

Just ran mflux in MacBook Pro 128Mb M4 Max Environment for reference, took sround 10.56s for image generation:

time mflux-generate
--prompt "Luxury food photograph"
--model schnell
--steps 2
--seed 2
--height 1024
--width 1024

Fetching 8 files: 100%|████████████████████████| 8/8 [00:00<00:00, 14388.69it/s]
Fetching 7 files: 100%|█████████████████████████| 7/7 [00:00<00:00, 3499.84it/s]
100%|█████████████████████████████████████████████| 2/2 [00:15<00:00, 7.50s/it]
mflux-generate --prompt "Luxury food photograph" --model schnell --steps 2 2 1.88s user 10.56s system 32% cpu 38.232 total

[filipstrand]

Wow impressive! Can add this to the benchmark section. Just out of curiosity, if you run it quantized, by enabling the flag --quantize 8 or --quantize 4 what numbers do you get?

[filipstrand]

Our benchmarks here are not very scientific or exact (but still fun to have them I think), but I looked through some of the old benchmark posts and there I tried to report the total time, so in your case that would be ~38 seconds I guess. Does that sound correct if you consider the total time it took from when you ran the command to when it finished?

[Stoobs]

Here's the result for the 14 core M4 Pro with 64GB in the new Mac mini:

time mflux-generate
--prompt "Luxury food photograph"
--model schnell
--steps 2
--seed 2
--height 1024
--width 1024
Fetching 8 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 8/8 [00:00<00:00, 72628.64it/s]
Fetching 7 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 75865.96it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:29<00:00, 14.66s/it]
mflux-generate --prompt "Luxury food photograph" --model schnell --steps 2 2 1.91s user 15.96s system 51% cpu 34.701 total

[Stoobs]

Quantize 8:
time mflux-generate
--prompt "Luxury food photograph"
--model schnell
--quantize 8
--steps 2
--seed 2
--height 1024
--width 1024
Fetching 8 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 8/8 [00:00<00:00, 78581.81it/s]
Fetching 7 files: 100%|████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 195734.19it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:29<00:00, 14.60s/it]
mflux-generate --prompt "Luxury food photograph" --model schnell --quantize 8 1.85s user 8.46s system 31% cpu 33.155 total

Quantize 4:
time mflux-generate
--prompt "Luxury food photograph"
--model schnell
--quantize 4
--steps 2
--seed 2
--height 1024
--width 1024
Fetching 8 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 8/8 [00:00<00:00, 68338.97it/s]
Fetching 7 files: 100%|████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 158703.39it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:29<00:00, 14.65s/it]
mflux-generate --prompt "Luxury food photograph" --model schnell --quantize 4 1.90s user 8.28s system 30% cpu 33.598 total

It doesn't really seem to impact the overall time that much?

[kasnol]

Hi @filipstrand , with the quantize flag 'on' it gives around ~7s, I turned on 'High Power Mode' in the 128Gb Apple M4 Max.

time mflux-generate --prompt "Luxury food photograph" --model schnell --steps 2 --seed 2 --height 1024 --width 1024 --quantize 8
Fetching 8 files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [00:00<00:00, 96420.78it/s]
Fetching 7 files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 9422.38it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:14<00:00, 7.36s/it]
mflux-generate --prompt "Luxury food photograph" --model schnell --steps 2 2 1.75s user 6.91s system 45% cpu 18.922 total

[kasnol]

Quantize 4 flag gives around ~7s for the M4 Max 128Gb too

time mflux-generate --prompt "Luxury food photograph" --model schnell --steps 2 --seed 2 --height 1024 --width 1024 --quantize 4
Fetching 8 files: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 8/8 [00:00<00:00, 118149.41it/s]
Fetching 7 files: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:00<00:00, 7963.15it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:15<00:00, 7.85s/it]
mflux-generate --prompt "Luxury food photograph" --model schnell --steps 2 2 1.78s user 6.70s system 42% cpu 19.977 total