Google Photos album import with Read-only Gallery

[benooye]

Thanks a lot Jean-François for this amazing project! Indeed this is the missing part of Immich!

A small question to know if immich-go would be compatible with this scenario:
I have already imported my NAS photo in immich with Read-only Gallery feature in immich (with high quality photos), so by not touching the directroy structure and not importing "really" the files in immich (they stay in the NAS folder)
I would like to recreate Google Photos Albums from my Google Takeout archive (medium/less quality photos)
If I use immich-go :

• do the application will properly map the Google Photos Album with the high quality photos already in place in immich?
• only missing photos from my NAS versus Google Takeout will be imported in immich?

Thanks a lot in advance!

Benoît

[simulot]

Thanks a lot Jean-François for this amazing project! Indeed this is the missing part of Immich!

Thank you, you're welcome. I have found the procedure to run immich-cli on my PC not convenient for common people. For some reason I have preferred to write a program instead of installing node.js.

I haven't try your scenario yet. I have to verify how I manage this case. Give me some time to verify that albums can be created after takeout archive bur referencing best quality asset.

Missing photos from immich will be uploaded (copied in immich storage) on the server, and the album created / updated. I have tested this many times.

Also, the feature that replace low quality image by a better one could not working if the low quality image has been imported in R/O gallery. I need to check this.

I'll give it a try this week-end.
Thanks for testing the program.

JF
Team chocolatine.

[benooye]

Thanks for your feedback
I can help to perform tests, my immich installation is not in production yet (I'm under Synology Photos now and would like to switch) so I can offer to perform any tests that could help!

Team chocolatine power too! (Toulouse)

[benooye]

Nice to see finally Libraries are coming in Immch 1.79 so I will first switch from Read-only Gallery to Librairies,
then I will try immich-go with the Google Takeout and check the logs

[simulot]

I think we can use french for interim messages.
Je vais aussi tester cette nouvelle version ce weekend si possible.

[benooye]

Ok super, je vais également faire des essais ce week-end, voir ce que produisent les logs

[benooye]

Voici le résultat d'une première session d'essai avec immich-go en v0.2.4
1/ Sur un serveur immich clean (reset complet) : réinstallé en 1.79.1, chargement des photos existantes (stockage NAS avec photos Hi-Res) via le nouveau mécanisme de Library (et non plus Read-only gallery) dans immich

2/ Lancement de l'import des Google Takeaout avec immich-go commande "upload" avec -log-level=OK
-> Résultat : 14702 media scanned, 8576 uploaded
Je n'ai pas trop d'infos sur ce qui s'est passé sur les autres média qui n'ont pas été uplodadé : par exemple est-ce que ce sont tous des existing media / doublons, ou y a t-il des erreurs? Peut-être rajouter cette synthèse serait bien?
Lors de l'import j'ai eu plusieurs messages du type :
can't find the image with title "20170814_193101_HDR.jpg", pattern: "20170814_193101_HDR*.*": file does not exist: "Takeout/Google\u00a0Photos/Saint-Palais été 2017/20170814_193101_HDR .jpg"
Je ne sais pas ce que signifie ce message : est-ce un problème? juste un warning?

3/ Tentative de lancement de nettoyage:
la commande ./immich-go -server=http://xxx:2283 -key=xxx -log-level=OK duplicate -dry-run=yes
ou la commande ./immich-go -server=http://xxx:2283 -key=xxx duplicate -dry-run=yes
renvoient tous les 2 les message suivant:

immich-go 0.2.4, commit 1737963, built at 2023-09-19T20:06:19Z
Server status: OK
flag provided but not defined: -dry-run
Usage of duplicate:
-date value
Process only document having a capture date in that range. (default 1850-01-04,2030-01-01)
-yes
When true, assume Yes to all actions

-> Le process de nettoyage ne se lance pas.

J'ai également essayé de lancer avec la commande ./immich-go -server=http://xxx:2283 -key=xxx -log-level=OK duplicate
Et là j'ai ce retour:
immich-go 0.2.4, commit 1737963, built at 2023-09-19T20:06:19Z
Server status: OK
Get server's assets...GetAllAssets, GET, http://xxxx:2283/api/asset, 200 OK
parsing time "+160895-10-21T05:48:00.000Z" as "2006-01-02T15:04:05Z07:00": cannot parse "+160895-10-21T05:48:00.000Z" as "2006"
parsing time "+160895-10-21T05:48:00.000Z" as "2006-01-02T15:04:05Z07:00": cannot parse "+160895-10-21T05:48:00.000Z" as "2006"

Puis un retour à la ligne de commande de immich-go sans plus d'infos

[simulot]

J'ai corrigé aussi les erreurs "time parsing" qui sont causée par des fichiers avec des dates improbables. Immich les enregistrent comme ça, et cela provoque des erreurs à la restitution des pages par le server, et ça faisait planter immich-go.

Maintenant ces erreurs sont ignorées... peut pas faire mieux

[simulot]

Je n'ai pas trop d'infos sur ce qui s'est passé sur les autres média qui n'ont pas été uplodadé : par exemple est-ce que ce sont tous des existing media / doublons, ou y a t-il des erreurs? Peut-être rajouter cette synthèse serait bien?

Lire mon commentaire #18 (comment)
Mais oui, pourquoi pas compter les doublons.

Server status: OK
flag provided but not defined: -dry-run

J'ai changé l'option -dry-run. sans rien préciser c'est un dry run. avec -yes, les suppressions sont tentées

parsing time "+160895-10-21T05:48:00.000Z" as "2006-01-02T15:04:05Z07:00": cannot parse "+160895-10-21T05:48:00.000Z" as "2006"

Le programme essaye de déterminer la date de prise dans le nom du fichier.
Si le nom de fichier n'est pas une date, le fichier est ouvert pour trover la date dans les données exif ou les metadata des fichiers apple (heic, ou les mov).
Postez l'un des fichiers concernés si possible.

[simulot]

Salut,
Après 2 semaines de déplacement, et divers éventements familiaux, j'ai bossé sur le programme ce week end.
J'ai réécrit la gestion du takeout. La version est mergée dans la branche dev

Je ferai une release dans quelques jours si je ne trouve pas de problème

[benooye]

Ok super, prêt à tester!
Pour info, j'ai constaté grâce à Immigch-go que j'avais pas mal de doublons dans ma Library qui est uniquement en read-only pour Immich.
Du coup immich-go détecte des duplicate et essaie de les supprimer sans succès.
Pas de soucis pour moi c''est juste pour info et d'ailleurs il n'y a pas de message d'erreur.
C'est juste qu'en relançant immich-go j'ai pu être surpris de voir qu'il y avait encore des doublons mais donc c'est tout à fait normal.

[simulot]

A vérifier quand même. Immich server utilise un hash SHA1 pour détecter les doublons. Donc, c'est très fiable pour détecter les copies de fichiers même ayant des noms différents.

Reste les doublons engendrés par des différences de résolutions. C'est ce que immich-go signale.

[benooye]

Merci pour le travail que tu fais, le projet est vraiment super et utile pour tous ceux qui veulent migrer.
Pour info, v0.3.1 lancée hier en import puis duplicate je n'ai pas noté de soucis particuliers.
Par contre j'ai perdu les logs, je voulais quand même regarder un peu plus dans le détail.
Je vois de nouveaux albums importés avec des noms de personnes, apparemment avec des photos qui avaient été partagées sous Google Photos

[simulot]

Merci!

Je vois de nouveaux albums importés avec des noms de personnes, apparemment avec des photos qui avaient été partagées sous Google Photos

Donc ça marche pas mal