Note: le tool a pas mal évolué depuis ce premier post. Pensez à regarder les différentes mises à jour:- [Update 1](https://cadernis.com/d/2465-parseur-de-protocole).- [Update 2](https://cadernis.com/d/2465-parseur-de-protocole).- [Update 3](https://cadernis.com/d/2465-parseur-de-protocole).- [Update 4](https://cadernis.com/d/2465-parseur-de-protocole).- [Update 5](https://cadernis.com/d/2465-parseur-de-protocole) (exécutable Windows fonctionnel).Post originel:-------------------------------------------------------------Bien le bonjour la communauté!Voici mon premier vrai post de partage ici. Je viens de finir mon parseur de protocole, un "remplacement" à l'outil [d2json](https://cadernis.com/d/1876-d2json-extraire-les-informations-du-jeu/1) de @"Lakh92"#58 .Le but de l'outil? Faire en sorte de ne pas dépendre de décompilateurs SWF lourds tels que FFDec et de systèmes d'expression régulières compliqués pour générer son protocole réseau.Concrètement? Vous lancez l'outil sur le DofusInvoker.swf, et en quelques secondes vous obtenez un JSON ayant cette forme:``` { "default": { "field": { "boolean_byte_wrapper_position": -1, "bounds": null, "constant_length": 0, "default_value": "", "name": "", "namespace": "", "null_checked": false, "prefixed_by_type_id": false, "self_serialize_method": "", "type": "", "type_namespace": "", "use_boolean_byte_wrapper": false, "write_false_if_null_method": "", "write_length_method": "", "write_method": "", "write_type_id_method": "" } }, "enumerations": [ { "entries_type": "uint", "members": { "HOOK_POINT_CATEGORY_BASE_BACKGROUND": "4", "HOOK_POINT_CATEGORY_BASE_FOREGROUND": "6", "HOOK_POINT_CATEGORY_LIFTED_ENTITY": "3", "HOOK_POINT_CATEGORY_MERCHANT_BAG": "5", "HOOK_POINT_CATEGORY_MOUNT_DRIVER": "2", "HOOK_POINT_CATEGORY_PET": "1", "HOOK_POINT_CATEGORY_PET_FOLLOWER": "7", "HOOK_POINT_CATEGORY_UNDERWATER_BUBBLES": "8", "HOOK_POINT_CATEGORY_UNUSED": "0" }, "name": "SubEntityBindingPointCategoryEnum" }, // ... ], "messages": [ { "fields": [ { "default_value": "false", "name": "quiet", "type": "Boolean", "write_method": "writeBoolean" }, { "default_value": "false", "name": "_isInitialized", "namespace": "com.ankamagames.dofus.network.messages.common.basic", "type": "Boolean" } ], "name": "BasicPingMessage", "namespace": "com.ankamagames.dofus.network.messages.common.basic", "protocolID": 182, "super": "NetworkMessage", "supernamespace": "com.ankamagames.jerakine.network", "use_hash_function": false }, // ... ], "types": [ { "fields": [ { "bounds": { "low": "-9007199254740992.000000", "up": "9007199254740992.000000" }, "default_value": "0", "name": "contextualId", "type": "Number", "write_method": "writeDouble" }, { "name": "_dispositiontree", "namespace": "com.ankamagames.dofus.network.types.game.context", "type": "FuncTree", "type_namespace": "com.ankamagames.jerakine.network.utils" }, { "name": "disposition", "prefixed_by_type_id": true, "self_serialize_method": "serialize", "type": "EntityDispositionInformations", "type_namespace": "com.ankamagames.dofus.network.types.game.context", "write_type_id_method": "writeShort" } ], "name": "GameContextActorPositionInformations", "namespace": "com.ankamagames.dofus.network.types.game.context", "protocolID": 566, "super": "", "supernamespace": "", "use_hash_function": false }, // ... ], "version": { "client": { "build": { "date": { "day": 1, "full": "2020-4-1 13:45", "hour": 13, "minute": 45, "month": 4, "year": 2020 } }, "major": 2, "minor": 55, "patch": 1 }, "parser": { "major": 0, "minor": 2 }, "protocol": { "date": { "day": 13, "full": "2020-3-13 14:43", "hour": 14, "minute": 43, "month": 3, "year": 2020 }, "version": { "current": 1966, "minimum": 1966 } } } } ```L'outil n'en est qu'à sa version préliminaire, il y a encore quelques informations facilement accessibles que j'aimerai rajouter dans le JSON. Idéalement, j'aimerai aussi implémenter de quoi filtrer les informations contenues dans le JSON avec des flags lors de l'appel à l'exécutable.J'ai pensé l'outil pour être facilement extensible. Si le JSON généré ne contient pas les informations que vous désirez, envoyez moi un petit message sur discord @"Nelimee"#1167 ou répondez à ce post, je ferais mon possible pour ajouter les informations demandées.Le plus important, les dépôts git sont bien entendu en accès libre:- [IOs](https://gitlab.com/botofu/ios), la bibliothèque qui gère les I/Os de base.- [SwfParser,](https://gitlab.com/botofu/swfparser) la bibliothèque qui s'occupe de parser le format SWF (le format du DofusInvoker.swf) et de désassembler le bytecode ABC (bytecode utilisé dans le DofusInvoker.swf pour l'implémentation de toutes les fonctions/méthodes).- [protocol_parser](https://gitlab.com/botofu/protocol_parser), qui va s'occuper d'extraire les informations qui nous intéressent du bytecode ABC désassemblé.Quelques idées d'améliorations qui seront probablement implémentées dans les jours/semaines qui arrivent (si vous avez des idées pour allonger la liste, vous savez où me joindre):- Ajouter une documentation digne de ce nom. Pour l'instant, on va dire que la documentation est plutôt parsemée et je la juge insuffisante pour rentrer dans le code facilement en partant de 0. Priorité numéro 1.- Ajouter les 2-3 fonctionalités dont j'ai déjà parlé comme- plus d'information dans le JSON généré. Il y a 2-3 informations accessibles que je n'ai pas sérialisés et ça ne sera pas très long à ajouter.- pouvoir filtrer avec des flags les informations contenues dans le JSON.- ajouter une entrée "default" quelque part dans le JSON pour éviter d'avoir à préciser dans chaque entrée les termes qui n'ont pas de sens.- avoir 2 dates sous le même format dans le champs "version".- (plus long terme) pouvoir faire des diff propres entre 2 versions du protocole.- Même si la tâche me semble non triviale à réaliser correctement, j'aimerai bien avoir un bon moyen de tester l'implémentation de façon automatique. Soit des tests unitaires, soit des tests un peu plus larges tels que la comparaison- Confirmer que la fonctionnalité de signalisation des sérialisations non-matchées par le parseur est solide. Pour l'instant le tool affiche un warning pour toute instruction qui vérifie toutes les conditions suivantes:- Le nom de la méthode appellée commence par "write" ou "serialize"- L'instruction d'appel de méthode ne fait pas partie d'un ensemble d'instruction qui a déjà été reconnu comme un "ensemble d'instruction connu".J'inclus dans ce post une [version du code compilée par mes soins pour Linux](https://mega.nz/file/PkAkhIQQ#D42m-C6YilicWxJHHOO6QSxOGYiMDRCi2WfvMDXBKbQ) (**outdated**, voir updates en fin de post). J'ai essayé de cross-compiler pour Windows, je me suis souvenu de pourquoi j'étais passé sous Linux, et du coup je n'ai pas d'exécutable Windows à vous passer. Je vous invite à le compiler vous-même, en théorie le code est portable sur n'importe quelle plateforme ayant un compilateur avec un support partiel du C++17. D'ailleurs, je n'utilises qu'assez peu les fonctionnalités du C++17 donc ça ne devrait pas être trop dur de passer en C++14 (voire même C++11) si vous n'avez pas de compilateur C++17 sous la main.Pour finir:``` ./protocol_parser --help Protocol parser for the Botofu project Usage: ./protocol_parser [OPTIONS] DofusInvokerPath ExportPath Positionals: DofusInvokerPath TEXT:FILE REQUIRED Path to the DofusInvoker.swf ExportPath TEXT REQUIRED Path to the file that will contain the output of the protocol parsing. Options: -h,--help Print this help message and exit -i,--ident INT Number of spaces used to indent resulting JSON. Default to minified (0). ```A plus!Nelimee

Merci du partage c'est vachement cool ton tool

Salut, Enfin quelque chose de nouveau ! Ca fait plaisir Si tu veux une petite idée supplémentaire, tu pourrais fournir une image Docker de ton tool, le rendant plus simple d'utilisation et par définition cross-platform. Avec un volume partagé, ou simplement en image de base et on ajoute les swf a la main dans le workdirOn pourrait ainsi s'imaginer l'utiliser simplement dans une chaine de CI avec Gitlab ou Azure PipelinesCa manque cruellement de tests comme tu l'as dit mais à toi de compléter ton code avecEncore bravo !

> @"DrBrooklyn"#p25011 Salut,Enfin quelque chose de nouveau ! Ca fait plaisirSi tu veux une petite idée supplémentaire, tu pourrais fournir une image Docker de ton tool, le rendant plus simple d'utilisation et par définition cross-platform. Avec un volume partagé, ou simplement en image de base et on ajoute les swf a la main dans le workdirOn pourrait ainsi s'imaginer l'utiliser simplement dans une chaine de CI avec Gitlab ou Azure PipelinesCa manque cruellement de tests comme tu l'as dit mais à toi de compléter ton code avecEncore bravo ! Mais c'est que c'est une excellente idée! Je fais ça demain ;)

très bel outil, c'est ce genre de truc qui m'aurait bien aidé.

Super job! Voici quelques idees que j'ai pu faire sur le mien:- un champ pour savoir si le message utilise la hashFunction ou non- en cas d'utilisation du boolean byte wrapper, dire a quel position il est (si tu la fais excuse moi j'ai pas vu)

Petite update:- J'ai rajouté 2-3 informations faciles à grapiller dans le JSON:- Usage de la HASH_FUNCTION ou non dans "use_hash_function".- La position du bit si le BooleanByteWrapper est utilisé dans "boolean_byte_wrapper_position" (c'était parsé, mais j'avais oublié de l'inclure dans le JSON -_-)- Taille du vecteur dans le cas où il a une taille constante (i.e. pas d'écriture de la taille avant d'écrire les valeurs) dans le champs "constant_length".- Nom de la méthode utilisée pour écrire le typeId quand elle est utilisée dans "write_type_id_method" (je crois que c'est constant, mais j'ai accès à l'information et l'espace disque de coûte pas cher, donc j'inclus ça même si ça n'aura probablement pas d'utilité).- Nom de la méthode utilisée pour écrire 0 ou 1 en fonction de si l'attribut est null ou pas dans "write_false_if_null_method" (pour l'instant les 2 seuls attributs comme ça sont dans "com/ankamagames/dofus/network/types/game/context/roleplay/fight/arena/ArenaRankInfos.as").- Les dates sont un peu mieux normalisées dans "version".- Apparition d'une section "default" à la racine du JSON, ce sont les valeurs par défaut utilisées pour les fields. En fonction des arguments passés à la ligne de commande, il y a 2 comportements:- Si "-a", "--all" ou "--no-default" est passé, la section "default" n'est pas présente dans le JSON et **toutes** les entrées (même les vides) de chaque field sont inclues.- Sinon (comportement par défaut donc), la section "default" est présente et chaque field est réduit en n'écrivant que les entrées qui sont différentes de la valeur par défaut encodée dans la section "default".- Si le fichier de sortie n'est pas précisé, le JSON est affiché sur stdout. Par contre, les logs d'info, mais aussi les potentiels warnings résultants d'un problème de parsing quelque part sont **aussi** affichés sur stdout, à améliorer de mon côté, peut-être en affichant les logs (même les logs d'information) sur stderr.- C'est dockerisé.~~ Je n'ai pas encore setup de build automatique avec Gitlab, donc il vous faudra build par vous même pour l'instant,~~ Tout est expliqué [ici](https://gitlab.com/botofu/protocol_parser#using-docker-recommended).- Le tout accompagné d'un petit bump version en 0.2 pour les champs dans "version.parser". Notez que tant que la version majeure est à 0, je considère que des "breaking changes" (comprennez ici un changement du format du JSON de sortie) sont possibles à tout moment. Si breaking change il y a, la version changera dans tous les cas. En attendant que je considère le format suffisamment mature, seulement la verison mineure changera.

Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Parseur de protocole

Nelimee

Update en 0.3. J'utilises maintenant aussi le fichier VERSION à côté du DofusInvoker.swf, si il n'est pas présent un warning sera affiché.

Juste pour résumer, si vous avez docker, l'utilisation est aussi simple que ça:

docker pull registry.gitlab.com/botofu/protocol_parser
docker run -v /path/to/Dofus/directory/:/data/ -it registry.gitlab.com/botofu/protocol_parser -i 2 /data/DofusInvoker.swf /data/protocol.json
# protocol.json is now in /path/to/Dofus/directory/protocol.json

J'ai rajouté le patch (le 37 dans la version 2.55.1.37 par exemple) et le type de build du client (pour l'instant il n'y a que "release" qui est supporté, mais à moins que vous ne travailliez pour Ankama, ça m'étonnerai que vous ayez accès à autre chose, sauf si un stagiaire se plante :p) au JSON généré, d'où le bump de version en 0.3.

ZyFox

salut c'est utilisable avec le c# ?

Nelimee

ZyFox
salut c'est utilisable avec le c# ?

Ca dépends ce que tu veux faire.

Le principe de l'outil est que tu l'utilises comme un exécutable pour générer un JSON, et après tu analyse ce JSON avec ce que tu veux. Donc si tu suis le principe de l'outil, c'est utilisable avec n'importe quel langage qui a la capacité de lire un fichier JSON.

Si tu veux appeler les fonctions implémentées dans l'outil directement depuis le C#, ça risque d'être plus compliqué pour plusieurs raisons:

- Je n'ai pas défini d'interface C. Je ne sais pas comment le C# fait pour appeler des fonctions C++, mais si il fait comme la plupart des autres langages que je connais il lui faut une interface C (très probable).

- Je n'ai pas prévu d'exporter le projet sous forme de bibliothèque partagée. Mon point de vue actuel est qu'exporter le projet comme une bibliothèque partagée serait un investissement en temps très peu rentable, le tool étant déjà utilisable sous forme d'exécutable.

Si tu es intéressé par ça, je t'invites à ouvrir une issue sur le dépôt Gitlab. Comme je te l'ai dis, il y a peu de chances que je prenne le temps d'implémenter ça. Par contre si tu te sens de commencer le travail je ne crache pas dessus ;)

Après je n'ai qu'une connaissance très partielle (presque inexistante) du fonctionnement du C#, à toi ou aux gens plus compétents de me dire si ce que j'avance est vrai ou complètement délirant.

jeanno11

ZyFox
salut c'est utilisable avec le c# ?

Regardes Flazzy comme lib en C#

Et sinon super boulot Nelimee

Nelimee

Update en 0.4.

- Chaque entrée dans "fields" a maintenant un champ "position" qui donne l'ordre de sérialisation de chaque attribut. Pour les attributs sérialisés avec le BooleanByteWrapper, tous les attributs sérialisés sur un même byte auront la même valeur de "position" mais auront des valeurs différentes pour "boolean_byte_wrapper_position".

- Les attributs privés (commençant par un "_") sont maintenant cachés par défaut. Vous pouvez les re-inclure avec l'option

--ipa

. Ces champs n'étant pas sérialisés, les champs habituels peuvent être à des valeurs par défaut.

- Pour les messages et types, un nouveau champ "super_serialize" permet de savoir si il y a un appel à la méthode

serializeAs_[...]

de la classe mère en tout début de sérialisation.

- Changement du dépôt Gitlab: maintenant tout le code est sous un unique dépôt. Ça simplifie pas mal de choses pour la compilation et le CI. Le nouveau dépôt.

- Pour les gens qui sont sous Windows et qui n'ont pas envie de s'emmerder à installer Docker, un exécutable Windows est automatiquement compilé et mis à disposition avec le CI. Vous le trouverez dans un badge sur la page d'accueil du nouveau dépôt ou sur ce lien.

- Le nouveau dépôt a aussi un registery pour les images Docker. Maintenant vous avez toutes les versions du tool (à partir de la 0.3) et la dernière version taggée en

latest

. Voir sur ce lien.

Ashlanfox

Hello j'ai essayé de lancer ton tool, je m'y prends mal ? Super taf en tout cas !

C:\Users\sauron\Desktop\Dofus memory reverse\dofus invoker>botofu_protocol_parser-static-x64.exe DofusInvoker.swf
[2020-04-27 14:19:59.197] [info] [/work/src/botofu/protocol/parser/main.cpp:19] Parsing SWF file provided: 'DofusInvoker.swf'...
[2020-04-27 14:19:59.198] [warning] [/work/src/botofu/swf/parser/SwfReader.cpp:41] ZLIB decompression finished a return code different than Z_STREAM_END.
[2020-04-27 14:19:59.198] [error] [/work/src/botofu/protocol/parser/main.cpp:25] Could not find a DoABC tag in the SWF file provided.

Nelimee

Ashlanfox
Hello j'ai essayé de lancer ton tool, je m'y prends mal ? Super taf en tout cas !

Très bizarre! Ca ressemble à une erreur de décompression. Est-ce que tu pourrais uploader le DofusInvoker.swf en question et me donner le lien (soit ici, soit sur discord @Nelimee#2764)? Je testerai ce soir et je te tiens au courant!

Juste une petite vérification: par pur hasard, est-ce que tu aurais modifié le DofusInvoker.swf? Si oui, le problème vient sûrement du fait que tu as rajouté/enlevé du code, donc changé la taille du DofusInvoker, mais pas updaté le header du SWF en conséquence.

EDIT: je viens de voir que c'était la version Windows... Je n'ai pas vraiment testé cette version, j'ai juste testé en appelant avec --help. Le problème vient peut-être aussi de là. Est-ce que tu aurais la possibilité d'essayer avec la version Docker?

Ashlanfox

Nelimee
Très bizarre! Ca ressemble à une erreur de décompression. Est-ce que tu pourrais uploader le DofusInvoker.swf en question et me donner le lien (soit ici, soit sur discord @Nelimee#2764)? Je testerai ce soir et je te tiens au courant!
Juste une petite vérification: par pur hasard, est-ce que tu aurais modifié le DofusInvoker.swf? Si oui, le problème vient sûrement du fait que tu as rajouté/enlevé du code, donc changé la taille du DofusInvoker, mais pas updaté le header du SWF en conséquence.
EDIT: je viens de voir que c'était la version Windows... Je n'ai pas vraiment testé cette version, j'ai juste testé en appelant avec --help. Le problème vient peut-être aussi de là. Est-ce que tu aurais la possibilité d'essayer avec la version Docker?

Effectivement sur Windows, je vais boot ma VM et le faire sur Linux no worries. Voilà mon invoker: https://we.tl/t-EgyDkFZ818

Nelimee

Je te confirme que sur mon Linux ça fonctionne comme prévu. Je regarderai les soucis Windows un jour, si j'ai le courage de me setup une VM Windows.

Nelimee

Encore une update!

- Les types en

Vector<...>

sont maintenant mieux écrits dans le JSON.

- Le code a été testé sur différentes plateformes et fonctionne avec:

- Linux: GCC 9.3, clang 9 et clang 11

- Windows: GCC 8.3 sur le WSL (GCC par défaut sur la distribution Debian du WSL) et MSVC 19.25.28614.0.

Pour ceux qui essaient de compiler avec MSVC, il est possible que le premier appel à

cmake -H. -DCMAKE_BUILD_TYPE=Release ..

finisse prématurement sur une erreur. La cause étant les espaces dans les dossiers d'installations système de Windows (

C:\Program Files\

on te voit). Dans tous mes tests, relancer la même ligne de commande suffit à régler le soucis. Si ça ne fonctionne pas chez vous, formatez votre disque dur et installez un vrai système d'exploitation...

Les compilateurs MinGW semblent avoir du mal avec certaines des dépendances (j'ai eu une segfault de GCC-MinGW en essayant de compiler

fmt

- MacOS: rien n'est testé, clang devrait en théorie marcher. Si ça ne marche pas, go Docker.

- Dans tous les cas, la version Docker est recommandée. C'est la seule que je mettrais à jour automatiquement, aucune garantie sur les autres exécutables.

Merci à @Antidéveloppeur#4072 pour sa disponibilité lors du débug de la compilation sur Windows!

Juste pour rappeler les liens importants:

- Le dépôt Gitlab.

- Lien de téléchargement Windows x64.

- Lien de téléchargement Linux x64.

Itsame

Merci de partager ces outils!

Quelle distribution Linux utilisez-vous?

Nelimee

Itsame
Merci de partager ces outils!
Quelle distribution Linux utilisez-vous?

Perso je suis Fedora pour le boulot et Archlinux pour le perso!

BlueDream

Fedora et Ubuntu en perso, Debian pour mes vms

Nelimee

Petite mise à jour, l'exécutable Windows fonctionne correctement maintenant!

mahmoudourti

merci beaucoup

mahmoudourti

tout les ligne son mort :(

Nelimee

mahmoudourti
tout les ligne son mort :(

Je n'ai pas compris ton message, de quoi est-ce que tu parles?

ZyFox

Nelimee
Je n'ai pas compris ton message, de quoi est-ce que tu parles?

yo, il parles du lien mega pour le windows x64 il me semble

Nelimee

Les liens à jour seront toujours sur le Gitlab du projet. Je ne met pas à jour les liens de tous les posts que j'ai fait sur ce sujet, ça me prendrai du temps pour une utilité plus que discutable, et me connaissant il y aurait toujours un oubli.

Donc rendez-vous sur le Gitlab de botofu, et allez dans le README du parseur de protocole, les liens sont valides.

Je le répète encore une fois au cas où, je ne garanti rien sur la validité de ces liens dans le futur. Seule l'image docker est garantie d'être toujours à jour. Les exécutables pré-compilés par mes soins sont, en ce moment précis, à jour mais je peux avoir la flemme de les mettre à jour à n'importe quelle update. Enfin bon, en théorie je n'aurais pas besoin d'update beaucoup ;)

Claudine

Merci pour ton travail !

Pour simplifier la chose, j'ai fais un dépôt gitlab qui va chercher la dernière version du SWF et la parser, j'ai mis une tâche CRON mardi à 12h00 GMT+0 (11h00 en france) pour que ça soit 100% automatique, on peut récupérer le json ici : https://gitlab.com/Cldine/protocol-autoparser/-/jobs/artifacts/master/browse?job=build

Page suivante »