Bonjour à tous.Après de nombreux mois ( 9 pour etre précis) je suis heureux de pouvoir faire un petit post de présentation d'un bot que j'ai codé entièrement seul sur mon temps libre. Avant toute chose quelques disclaimers :1 : Je ne suis pas informaticien. Je fais ça par passion avant toute chose et parce que ce domaine me passionne. Mon approche est clairement non optimisée et très certainement beaucoup d'entres vous auraient fait mieux.2 : Si vous avez des suggestions sur les méthodes que j'emploie ou des remarques a faire, je serai très heureux de les lire3 : L'objectif de ce post est simplement de partager ma joie et mon engouement avec des gens suceptibles d'etre intéréssés !4 : Pour des raisons de référencement ( et au cas ou ) CaT désigne ce que l'on fait dans D0ufs pour trouver un coffre qui a des dents**1 - Description du projet**Il s'agit d'un bot CaT codé en Python, n'utilisant pas la moindre interprétation de paquet. Toutes les informations sont lues, et réalisées via des méthodes les plus "human like" possibles. Cela diminue certes l'efficacité, mais a l'interet majeur d'etre ( selon moi ) parfaitement indétectable. Le principe est l'utilisation de la détection d'image basique couplé a des entrées clavier/souris élémentaires pour perform du début a la fin une CaT. Les CaT étant déclinées en 3 grandes étapes, la suite de ce post servira a expliciter mon cheminement en espérant que cette brève introduction vous ait intéréssé.**2 - Outils utilisés pour les actions basiques**Les entrées clavier/souris : Initialement je m'étais servi de la librairie d'AutoIt 3 très facilement implémentable en Python via pyAutoIt. Cette librairie permet l'interaction avec des "Controls". L'objectif étant de pouvoir avoir un programme qui fonctionne avec des inputs clavier/souris basique sans pour autant monopoliser l'ordinateur. Les fonctions de click et de send sur Control d'AutoIt fonctionnait de façon relativement irrégulière ( la fenetre du jeu étant en soit dépourvue de control concret ). Le désavantage majeur de ces fonctions est qu'elles ont ( et on me corrigera si je dis de la merde ) une espèce de "focus" propre ( je sais pas comment dire ça ). Mais typiquement, pour copier/coller un message dans le chat, on s'attendrait a simplement faire un clic dans le chat, puis Ctrl A + Ctrl X. Cependant, après le ControlClick, le focus de la fenetre du jeu est "reset" et les entrées clavier qui suivent ne vont pas dans le chat, mais directement dans la fenetre. ( Donc on ouvre l'interface alliance par exemple ). Pour remédier a ce problème j'ai donc opté pour des fonctions beaucoup plus "bas niveau" si je puis dire de SendMessage et PostMessage avec des codes Hexa. Cela a le mérite d'etre non seulement moins irrégulier et beaucoup plus fiable , mais de permettre un total fonctionnement en background.La capture d'image :Le fonctionnement du bot se faisant en background, le répérage d'image doit lui aussi se faire en background. Pour se faire j'ai opté pour la fonction PrintWindow qui permet a partir du handle de la fenetre d'en obtenir une capture d'écran. Ceci dit, il est a noté que la fenetre ne doit pas etre minimisée pour que cette fonction puisse opérer. Une simple modification de l'état de la fenetre a priori permet d'ignorer cette limite.Et ... c'est tout .. Vu que l'approche était human like, j'avais besoin que le soft soit capable de voir , cliquer et écrire.. Il ne lui reste plus qu'a réfléchir...**3 - Arriver sur la map de départ**Si on ignore les étapes assez simples pour arriver dans la malle, l'obtention de la map de départ se fait elle aussi en capture d'image. Après avoir standardisé la position de la map ( via un dézoom et un recadrage pour etre sur de voir a la fois B0nTA et Brak ) j'ai fais un template matching avec openCV pour rechercher le jalon de départ. Un shift clic et la position se retrouve dans mon chat que je vais copier coller ( via postMessage ) . J'analyse ensuite mon presse papier pour connaitre X et Y. Ensuite via une List de tuple contenant le nom, et les coordonnées de tous les zaaps du jeu, je crée un MinHeap dans lequel j'enregistre la différence de maps entre la map de départ et la position pour savoir quel est le zaap le plus proche. Une fois ceci fait , HavreSac > Zaap > Clic > Entrée du nom de ce zaap le plus proche. Par la suite un "/clear" et un "/travel X Y" me permettent alors d'arriver sur la map de départ. ( Le /clear sert a détecter le message m'indiquant etre arrivé )**4 - Réaliser la CaT**Une fois sur la map de départ commence un processus assez complexe de "lecture". Comme on peut s'y attendre j'ai utilisé Tesseract via un outil nommé Capture2Text. Je fais donc un screenshot de la fenetre, que je crop pour le faire correspondre au premier hint. Je lis ensuite cet indice avec C2T qui me donne un string ressemblant plus ou moins au vrai hint. Ma réso de base étant de 800 x 600 pour réduire le stress du GPU, les mots lus sont parfois très très loin du hint recherché. Je compare donc le string obtenu avec un dictionnaire de tous les hints du jeu via la distance de levenshtein et j'en conclus que celui qui a la plus courte correspond au hint a chercher. J'ai a priori téléchargé toute la base de données d'indice d'un site d'indice, ce qui me permet d'avoir un fichier texte de plus de 35 000 positions d'indices que je charge lors de l'exécution. De ce fait , le programme sait d'ores et déjà des qu'il lit un indice, ou il se trouve. Il se rend alors sur cette map et valide l'indice. Rien de compliqué. La difficulté arrive pour les taupes (on va les appeler comme ça .. )Trouver les taupes :Pour trouver les taupes , j'ai commencé par les screenshots dans toutes les orientations. J'ai découpé le fond le et appliquer un masque pour que le template matching d'openCV ignore le contexte des taupes. Elles sont alors détectées quelque soit la map. Seul problème quand on en voit qu'une partie du corps ou quoi. Mais j'ai ma solution pour ça. En couplant l'application d'un masque a openCV et en configurant correctement les cutoffs de détection, a l'heure actuelle, mon bot n'ignore jamais une taupe si elle est visible a l'écran ( chose dont je m'assure en masquant l'HUD quand on en cherche une**5 - Gagner le combat**On arrive a la partie , de très loin , la plus complexe et celle qui m'a pris le plus de temps.La première étape est l'analyse des cases disponibles et non disponibles de la map. Pour se faire j'analyse en boucle toutes les cases de la map et j'en analyse la couleur ce qui me permet ensuite de créer un Set() d'objet Cellules qui me permet de savoir si elles sont accessibles ou pas.Ensuite dans un combat est de savoir ou l'on se trouve et ou se trouve l'ennemi. Sur ce point précis, openCV et le template matching ont été pris en très grand défaut pour une raison simple. Tout template matching, quelqu'en soit la méthode doit a priori etre fait sur une échelle de gris. Le combat étant en mode créature pour standardiser la détection d'image, on se rend assez vite compte que le mode créa d'un mob et le mode créa d'un perso ( en échelle de gris ) se ressemble énormément. Il n'était donc pas rare que le bot inversent les deux et prennent mon perso pour l'ennemi et vice versa. Pour contrer ça, dans l'analyse des cases pour savoir si elles sont pratiquables, je réalise en meme temps une analyse de 40x40 pixels autour du centre de la case. Cette analyse sert a comparer les pixels de ce rectangle avec la couleur des pixels connus de l'ennemi et de mon perso. En effet j'ai a priori extrait via un script externe un array de tous les pixels discriminants de mon perso et de l'ennemi via des screenshots dans toutes les directions.De ce fait en meme temps que l'analyse des cases, le code vérifie si mon personnage ou l'ennemi se trouve sur cette case en comptant les pixels communs avec les pixels connus. A la fin de l'exécution il enregistre les cases qui avaient le plus de pixels communs. Cela a l'avantage colossal comparé a une détection d'image openCV d'ingorer si le personnage est coupé par un élément du décor .Cette méthode est garantie et jamais le bot ne s'est trompé dans la position de l'ennemi et de mon personnage. On pourrait croire que cela prend du temps mais avec un travail d'optimisation approfondi, notamment via l'utilisation de Heaps, de Set() plutot que des Lists et autre, il faut moins de 5 secondes au programme pour analyser toutes les cases et savoir ou sont les personnages.La meme méthode est utilisée par la suite mais sans analyser la praticabilité de toutes les cases. Ce qui fait que détecter personnage et ennemi prend moins d'une demi seconde.Maintenant qu'on sait ou sont les protagonistes du combat, il s'agit de faire se déplacer mon personnage pour aller taper l'ennemi.Pour se faire j'utilise le célibrissime algorithme A star ( A*). Je n'irai pas en détail mais cet algorithme permet de trouver le chemin le plus court possible vers une cible. A tous ceux qui s'y aventurent , prenez garde a bien chronométrer vos différentes étapes pour ne pas avoir un pathfinding qui prennent 3000 ans. Le gif suivant illustre la méthode de l'algorithme dans mon programme. (cf, dans sa première version, ce pathfinding prenait environ 277 secondes ... Comme quoi , avoir un code optimisé c'est assez utile xD )[![img](https://i.ibb.co/PgBcgmm/pathf.gif)](https://imgbb.com/)Ainsi a chaque tour, on détecte le nombre de PM de notre perso et on clique sur la PM-ième case de notre path pour se déplacer.. puis on tape .. et on fait ça jusqu'a la fin .. Et voila , le tour est joué, plus qu'a faire ça en boucle.**6 - Limites et conclusion**.Vous vous doutez évidemment qu'il y a pas mal de limites a ce fonctionnement. Certaines choses seraient bien plus optimisées si j'avais les connaissances requises pour les faire. Je pourrais par exemple avoir un world path finding ou détecter via l'interprétation de paquet la position de l'ennemi. Bien plus de choses seraient accessibles via l'interprétation de paquets et je compte les ajouter quand j'en aurai le temps. J'ai appris le python pour créer ce projet ( il y a maintenant 2 mois que je code en python et les 7 d'avant j'apprenais le javascript parce que de base ce projet était sous Actionaz .. ) a partir de connaissances éparses en C, Java .. C'est mon premier projet de "grande ampleur" ( a mon échelle ) et tout commentaire, idée ( ou meme de l'aide pour enfin comprendre ces satanés paquets ... ) est bienvenu. Cordialement

Félicitations !Bon courage pour la suite, j’espère avoir des nouvelles.

**Salut [USER=6036]valchimiiste[/USER] et félicitations !****Je trouve ça génial parce que j'ai fait exactement la même chose sur mon temps libre mais en C# ! Quand je dis exactement la même chose, c'est quasiment au mot près ! Mais je ne l'utilise plus puisque je ne joue plus en ce moment..**

> @Brizze, post: 25975, member: 1822"]Gg bonne chance pour la suite.[/QUOTE]Merci beaucoup ! [QUOTE="lobidon#p25977 Je trouve ça génial parce que j'ai fait exactement la même chose sur mon temps libre mais en C# ! Quand je dis exactement la même chose, c'est quasiment au mot près ! Mais je ne l'utilise plus puisque je ne joue plus en ce moment.. Haha . Comme quoi suffit d'avoir les idées héhé. Maintenant j'aimerais rajouter de quoi acquérir les informations via les paquets mais ça ce sera dans un prochain épisode vu que j'y arrive pas pour l'instant haha.Merci pour les encouragements !

Super projet ! Je suis en train de faire quasiment la même chose en python aussi ! J'utilise uniquement Tesseract pour le moment :DPar contre j'ai cherché (comme toi) pour obtenir une base de tous les indices avec les positions mais en vain... Un indice de où tu l'as obtenue ?

Sur un site d'indiçage bien connu. Tu l'as certainement déjà utilisé :) . Je peux pas en dire plus ^_^'

Oui je vois ! Mais je parlai plus dans la manière de faire :DJe vais me débrouiller :)

> @"valchimiiste"#p25968 Bonjour à tous.Après de nombreux mois ( 9 pour etre précis) je suis heureux de pouvoir faire un petit post de présentation d'un bot que j'ai codé entièrement seul sur mon temps libre. Avant toute chose quelques disclaimers :1 : Je ne suis pas informaticien. Je fais ça par passion avant toute chose et parce que ce domaine me passionne. Mon approche est clairement non optimisée et très certainement beaucoup d'entres vous auraient fait mieux.2 : Si vous avez des suggestions sur les méthodes que j'emploie ou des remarques a faire, je serai très heureux de les lire3 : L'objectif de ce post est simplement de partager ma joie et mon engouement avec des gens suceptibles d'etre intéréssés !4 : Pour des raisons de référencement ( et au cas ou ) CaT désigne ce que l'on fait dans D0ufs pour trouver un coffre qui a des dents**1 - Description du projet**Il s'agit d'un bot CaT codé en Python, n'utilisant pas la moindre interprétation de paquet. Toutes les informations sont lues, et réalisées via des méthodes les plus "human like" possibles. Cela diminue certes l'efficacité, mais a l'interet majeur d'etre ( selon moi ) parfaitement indétectable. Le principe est l'utilisation de la détection d'image basique couplé a des entrées clavier/souris élémentaires pour perform du début a la fin une CaT. Les CaT étant déclinées en 3 grandes étapes, la suite de ce post servira a expliciter mon cheminement en espérant que cette brève introduction vous ait intéréssé.**2 - Outils utilisés pour les actions basiques**Les entrées clavier/souris : Initialement je m'étais servi de la librairie d'AutoIt 3 très facilement implémentable en Python via pyAutoIt. Cette librairie permet l'interaction avec des "Controls". L'objectif étant de pouvoir avoir un programme qui fonctionne avec des inputs clavier/souris basique sans pour autant monopoliser l'ordinateur. Les fonctions de click et de send sur Control d'AutoIt fonctionnait de façon relativement irrégulière ( la fenetre du jeu étant en soit dépourvue de control concret ). Le désavantage majeur de ces fonctions est qu'elles ont ( et on me corrigera si je dis de la merde ) une espèce de "focus" propre ( je sais pas comment dire ça ). Mais typiquement, pour copier/coller un message dans le chat, on s'attendrait a simplement faire un clic dans le chat, puis Ctrl A + Ctrl X. Cependant, après le ControlClick, le focus de la fenetre du jeu est "reset" et les entrées clavier qui suivent ne vont pas dans le chat, mais directement dans la fenetre. ( Donc on ouvre l'interface alliance par exemple ).Pour remédier a ce problème j'ai donc opté pour des fonctions beaucoup plus "bas niveau" si je puis dire de SendMessage et PostMessage avec des codes Hexa. Cela a le mérite d'etre non seulement moins irrégulier et beaucoup plus fiable , mais de permettre un total fonctionnement en background.La capture d'image :Le fonctionnement du bot se faisant en background, le répérage d'image doit lui aussi se faire en background. Pour se faire j'ai opté pour la fonction PrintWindow qui permet a partir du handle de la fenetre d'en obtenir une capture d'écran. Ceci dit, il est a noté que la fenetre ne doit pas etre minimisée pour que cette fonction puisse opérer. Une simple modification de l'état de la fenetre a priori permet d'ignorer cette limite.Et ... c'est tout .. Vu que l'approche était human like, j'avais besoin que le soft soit capable de voir , cliquer et écrire.. Il ne lui reste plus qu'a réfléchir...**3 - Arriver sur la map de départ**Si on ignore les étapes assez simples pour arriver dans la malle, l'obtention de la map de départ se fait elle aussi en capture d'image. Après avoir standardisé la position de la map ( via un dézoom et un recadrage pour etre sur de voir a la fois B0nTA et Brak ) j'ai fais un template matching avec openCV pour rechercher le jalon de départ. Un shift clic et la position se retrouve dans mon chat que je vais copier coller ( via postMessage ) . J'analyse ensuite mon presse papier pour connaitre X et Y. Ensuite via une List de tuple contenant le nom, et les coordonnées de tous les zaaps du jeu, je crée un MinHeap dans lequel j'enregistre la différence de maps entre la map de départ et la position pour savoir quel est le zaap le plus proche. Une fois ceci fait , HavreSac > Zaap > Clic > Entrée du nom de ce zaap le plus proche. Par la suite un "/clear" et un "/travel X Y" me permettent alors d'arriver sur la map de départ. ( Le /clear sert a détecter le message m'indiquant etre arrivé )**4 - Réaliser la CaT**Une fois sur la map de départ commence un processus assez complexe de "lecture". Comme on peut s'y attendre j'ai utilisé Tesseract via un outil nommé Capture2Text. Je fais donc un screenshot de la fenetre, que je crop pour le faire correspondre au premier hint. Je lis ensuite cet indice avec C2T qui me donne un string ressemblant plus ou moins au vrai hint. Ma réso de base étant de 800 x 600 pour réduire le stress du GPU, les mots lus sont parfois très très loin du hint recherché. Je compare donc le string obtenu avec un dictionnaire de tous les hints du jeu via la distance de levenshtein et j'en conclus que celui qui a la plus courte correspond au hint a chercher. J'ai a priori téléchargé toute la base de données d'indice d'un site d'indice, ce qui me permet d'avoir un fichier texte de plus de 35 000 positions d'indices que je charge lors de l'exécution. De ce fait , le programme sait d'ores et déjà des qu'il lit un indice, ou il se trouve. Il se rend alors sur cette map et valide l'indice. Rien de compliqué. La difficulté arrive pour les taupes (on va les appeler comme ça .. )Trouver les taupes :Pour trouver les taupes , j'ai commencé par les screenshots dans toutes les orientations. J'ai découpé le fond le et appliquer un masque pour que le template matching d'openCV ignore le contexte des taupes. Elles sont alors détectées quelque soit la map. Seul problème quand on en voit qu'une partie du corps ou quoi. Mais j'ai ma solution pour ça. En couplant l'application d'un masque a openCV et en configurant correctement les cutoffs de détection, a l'heure actuelle, mon bot n'ignore jamais une taupe si elle est visible a l'écran ( chose dont je m'assure en masquant l'HUD quand on en cherche une**5 - Gagner le combat**On arrive a la partie , de très loin , la plus complexe et celle qui m'a pris le plus de temps.La première étape est l'analyse des cases disponibles et non disponibles de la map. Pour se faire j'analyse en boucle toutes les cases de la map et j'en analyse la couleur ce qui me permet ensuite de créer un Set() d'objet Cellules qui me permet de savoir si elles sont accessibles ou pas.Ensuite dans un combat est de savoir ou l'on se trouve et ou se trouve l'ennemi. Sur ce point précis, openCV et le template matching ont été pris en très grand défaut pour une raison simple. Tout template matching, quelqu'en soit la méthode doit a priori etre fait sur une échelle de gris. Le combat étant en mode créature pour standardiser la détection d'image, on se rend assez vite compte que le mode créa d'un mob et le mode créa d'un perso ( en échelle de gris ) se ressemble énormément. Il n'était donc pas rare que le bot inversent les deux et prennent mon perso pour l'ennemi et vice versa.Pour contrer ça, dans l'analyse des cases pour savoir si elles sont pratiquables, je réalise en meme temps une analyse de 40x40 pixels autour du centre de la case. Cette analyse sert a comparer les pixels de ce rectangle avec la couleur des pixels connus de l'ennemi et de mon perso. En effet j'ai a priori extrait via un script externe un array de tous les pixels discriminants de mon perso et de l'ennemi via des screenshots dans toutes les directions.De ce fait en meme temps que l'analyse des cases, le code vérifie si mon personnage ou l'ennemi se trouve sur cette case en comptant les pixels communs avec les pixels connus. A la fin de l'exécution il enregistre les cases qui avaient le plus de pixels communs. Cela a l'avantage colossal comparé a une détection d'image openCV d'ingorer si le personnage est coupé par un élément du décor .Cette méthode est garantie et jamais le bot ne s'est trompé dans la position de l'ennemi et de mon personnage. On pourrait croire que cela prend du temps mais avec un travail d'optimisation approfondi, notamment via l'utilisation de Heaps, de Set() plutot que des Lists et autre, il faut moins de 5 secondes au programme pour analyser toutes les cases et savoir ou sont les personnages.La meme méthode est utilisée par la suite mais sans analyser la praticabilité de toutes les cases. Ce qui fait que détecter personnage et ennemi prend moins d'une demi seconde.Maintenant qu'on sait ou sont les protagonistes du combat, il s'agit de faire se déplacer mon personnage pour aller taper l'ennemi.Pour se faire j'utilise le célibrissime algorithme A star ( A*). Je n'irai pas en détail mais cet algorithme permet de trouver le chemin le plus court possible vers une cible. A tous ceux qui s'y aventurent , prenez garde a bien chronométrer vos différentes étapes pour ne pas avoir un pathfinding qui prennent 3000 ans. Le gif suivant illustre la méthode de l'algorithme dans mon programme. (cf, dans sa première version, ce pathfinding prenait environ 277 secondes ... Comme quoi , avoir un code optimisé c'est assez utile xD )[![img](https://i.ibb.co/PgBcgmm/pathf.gif)](https://imgbb.com/)Ainsi a chaque tour, on détecte le nombre de PM de notre perso et on clique sur la PM-ième case de notre path pour se déplacer.. puis on tape .. et on fait ça jusqu'a la fin .. Et voila , le tour est joué, plus qu'a faire ça en boucle.**6 - Limites et conclusion**.Vous vous doutez évidemment qu'il y a pas mal de limites a ce fonctionnement. Certaines choses seraient bien plus optimisées si j'avais les connaissances requises pour les faire. Je pourrais par exemple avoir un world path finding ou détecter via l'interprétation de paquet la position de l'ennemi. Bien plus de choses seraient accessibles via l'interprétation de paquets et je compte les ajouter quand j'en aurai le temps.J'ai appris le python pour créer ce projet ( il y a maintenant 2 mois que je code en python et les 7 d'avant j'apprenais le javascript parce que de base ce projet était sous Actionaz .. ) a partir de connaissances éparses en C, Java .. C'est mon premier projet de "grande ampleur" ( a mon échelle ) et tout commentaire, idée ( ou meme de l'aide pour enfin comprendre ces satanés paquets ... ) est bienvenu.Cordialement Coucou j'adore l'idée du projet ! Bien joué à toi, as tu Discord pour discuter avec toi ?Si oui, est-ce possible de m'ajouter ? Wiik#0915

Envoie moi un MP ici si tu veux discuter :D !

Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

Présentation d'un bot atypique

Ayyy

- La partie détection de map : j'ai la position de la map en haut à gauche de l'écran. Mais Tesseract galère sur certaines maps (et ça me met en rogne, pardonnez l'expression). Avec ton idée de copier la pos dans le presse papier, je me suis dit… Pourquoi pas demander à mon personnage de me donner lui-même sa pos: %pos% dans le chat ? Sinon, j'ai pensé à train avec du ML mais ça me semble beaucoup de temps pour pas grand chose.
Passé la partie présentation des problèmes que l'on peut rencontrer pour son algorithme de CaT.

Personnellement, pour récupérer la position de mon personnage, je déplaçais mon curseur au milieu de ma minimap et je faisais de la reconnaissance d'image pour récupérer les coordonnées (ce qui m'évite ainsi d'écrire %pos% dans le chat à chaque fois, (j'avais eu la même idée à la base :D)

- Je n'ai pas compris la partie: "". Je n'ai pas compris ce que sont ces /clear et /travel. Peut-être ai-je loupé quelque chose. N'hésitez pas à me dire que oui, si c'est le cas (mais gentiment, hein?!).

Pour la partie /travel et /clear, la première est une commande à écrire dans le chat sous la forme "/travel -14 12" et qui lancera le voyage automatique vers cette carte (si tu as une monture autoguidée) :)

La commande /clear permet juste de vider la fenêtre de chat

De quoi régler ton pb de carte difficile d'accès :)

Pour la récupération d'indices, moi je me suis basé sur plusieurs sites, l'un où j'ai récupérer tous les indices dans le code source HTML, que j'ai stocké en local, et un autre site où j'utilise uniquement son API publique...

NollyLaRune

Merci Ayyy pour tes réponses.

J'ai compris à présent pour les commandes /clear et /travel. Merci, et ça me donne des idées. En plus, je ne savais pas que les montures autoguidée se commandaient ainsi.

De quoi régler ton pb de carte difficile d'accès

~~Je ne comprends pas en quoi ça m'aide à accéder aux maps difficiles d'accès (si tu parles des maps comme le temps Sram). :/~~

Ah si! Il faudrait que j'achète une monture autoguidée, non?

Personnellement, pour récupérer la position de mon personnage, je déplaçais mon curseur au milieu de ma minimap et je faisais de la reconnaissance d'image pour récupérer les coordonnées.

J'imagine que tu désactivais tous les symboles sur les cartes, non? (sinon les HDV et tavernes gênent dans les villes) Il faut alors juste trouver la pos qui apparait en blanc sur noir et c'est beaucoup plus facile pour Tesseract que la valeur de map en haut à gauche, je me trompe? (Ah moins que tu ne parles pas de récupérer les coordonnées avec du ML (comme Tesseract), mais autre chose, et dans ce cas là, je ne vois pas).

Pour la récupération d'indices, moi je me suis basé sur plusieurs sites, l'un où j'ai récupérer tous les indices dans le code source HTML, que j'ai stocké en local, et un autre site où j'utilise uniquement son API publique...

Si je comprends, tu utilisais le site en même temps que ton personnage avançait IG. Et c'est ce que je fais aussi. Je n'ai que la liste de tous les noms des indices possibles en local. Hors, ce que dis valchimiiste, c'est qu'il a TOUT téléchargé en local. Donc il n'a pas besoin de récupérer les déplacements à effectuer pour avancer dans sa CaT sur un site en même temps que son personnage avance parce que les déplacements sont en local aussi. Ca doit être possible, mais j'ai pas d'idée génie pour le faire.

Bisous :*

valchimiiste

NollyLaRune
J'ai aimé la partie de stockage de donnée en local (cf. valchimiiste). J'ai essayé de tout stocker, mais je n'ai pas (encore) trouvé comment. Je pensais tout stocker dans un nested dictionary et cela dans un Json (pourquoi? je ne sais pas…). Le format du fichier est-il important?

Je stocke tout en txt et ça va INSANEMENT vite. Exemple simple : ma base de données d'indices fait a peu pres 38 000 lignes. Chaque ligne est un tuple avec ( "nomIndice", x, y). Il faut au programme < 1s pour tout charger. L'extension n'a ( pour moi ) aucune importance si tu n'utilises pas de lib qui bosse avec des fichiers spécifiques.

NollyLaRune
, ce que tu veux dire par "cutoffs de détection". J'imagine que c'est en rapport avec la détection par Computer Vision. Une précision?

En gros ca c'est a "tatons". j'ai codé une fonction IsImgOnScreen() qui renvoie le % de vraissemblance que ce que je cherche soit présent. Mais quand la chose est effectivement la on n'est pas a 100%.. Il renvoie 94 ou 96 en fonction de la qualité du découpage et du screenshot. Choisir les bons cutoffs c'est faire en sorte que cette fonction ne me dise pas que l'image est la alors que non, ou qu'elle me dise que l'image n'est pas la alors que oui . :)

Pour les indices, j'ai juste codé un scraper ( qui a du bouclé jcrois pendant 2-3h au total ) qui fait en boucle des requetes sur toutes les maps, et toutes les directions possibles, avec un petit timeout, et qui stockait ça dans un set() ( pour éviter les redondances ) et ensuite jlai fais l'écrire dans un fichier texte. L'avantage colossal d'avoir sa propre BDD c'est de pouvoir ajouter les indices qui manquent par exemple ;)

NollyLaRune

Merci valchimiiste pour ces précisions!

1) Effectivement, j'ai peur de me lancer dans la lecture de paquets. Et je sais que ça doit être génial, mais je veux finir de coder "correctement" (only Computer Vision) ce que je fais pour l'instant avant de "changer" de registre (Je veux voir si je peux arriver au bout de ce que je veux faire sans lire de paquets pour l'instant). Mais une fois cela fait, je compte bien m'y lancer, et utiliser ce forum pour ça. J'ai regardé déjà quelques trucs, mais je ne comprends que très peu de ce que je lis, et j'ai peur de recevoir des réponses du style: "T'as pas assez bien regardé partout sur internet". Et en plus, ça serait le cas. x) Je préfère donc attendre…

2) J'ai opté pour un dict pour éviter les redondances de clé. Je vais essayer de tout récupérer bientôt.

3) Je pense avoir bien compris ton idée et explication! Merchii!

4) monture autopilotée, Ayyy m'a donné la réponse juste avant… Je n'y avais pas pensé… puisque je n'en ai pas et n'en ai jamais utilisé une. Sinon, sans ça, je pense qu'en sauvegardant toutes les maps impraticables, on doit pouvoir utiliser A* pour faire la même chose que la monture autopilotée… Mais ça demande du temps pour récupérer les datas. Même chose pour les paquets, je n'en suis pas encore là :/ (je demanderai un cours privé quand je me sentirai prêt x) ).

5) Alors, moi je fais avec du Computer Vision "basique" et ça marche bien sans modifier l'image de la map (mais ma fenêtre est pas en 800x'je sais pas quoi mais petit'). Je fais bouger la souris dessus pour vérifier que ce soit bien une taupe (je détecte le nom de la taupe ou non). Seul problème : quand elle est trop proche des côtés de la map, ça marche pas/pas bien. Mais ça doit pouvoir s'améliorer…

6) J'avais pas imaginé le fait de stocker toutes les datas (enfin si, mais pas pensé que ça serait possible et si rapide). C'est chose faite grâce à toi et j'ai bien compris les avantages que cela représente ;)

Bisous :*

kiyoshi

Déjà félicitation pour ton projet, je me suis aussi amusé a commencé un projet python du genre pour voir si c'était réalisable et j'ai utilisé par ailleurs a peu près les même méthode que toi.

Niveau libs je suis directement partis sur du :

- OpenCv (là pour améliorer les résultat je traite un peu l'image a la volé)

- PyAutoit (bon là pour écrire du text simplement "{Enter} mon text " dans un control_send, et control_click pour les cliques

- Tesseract (j'ai test easyocr mais la libs pose soucis sous windows)

Pour les combats je suis en revanche bien plus bloqué que toi, déjà rien que pour modéliser la map sour forme matriciel je trouve cela compliqué même si actuellement j'ai une solution pour cela j'ai besoin de connaitre le nombre de losange par ligne/collonne chose que je ne connais pas car dans certain cas cela change là j'aurais aimer savoir comment obtenir ce genre d'info par moi même mais je suis paumé. Si tu as des liens Valchiimiste expliquant un peut comment comment faire pour comprendre les protocoles dofus ou faut regarder dans les fichiers du jeu pour avoir les infos etc... franchement je serais bien preneur. Mon objectif c'est pas de faire un bot 100% socket mais juste de récupérer des infos via la lecture des paquets et fichiers du jeu pour faire mon petit bot clique en mode bot hybride.

Pour la bdd des indices franchement j'y avais pas pensé je pense que je vais faire comme toi et la récupérer c'est pas bien compliqué a faire et ça permettrais d'être un peu plus tranquille de ce point de vue là.

Edit :

J'ai récupérer la petite bdd des indices et corréler avec le nom des indices pour la mettre en json déjà, bon c'est assez long. D'un côté c'est pratique vu que cela permet de s'affranchir du site genre si dans le futur il ferme, et d'un autre ça prend mine de rien un temps relativement long même si j'ai utilisé uniquement des requêtes http plutôt que selenium.

Pour les maps dofus j'explore les pistes des fichiers d2o, d2p, d2i :

2.0 - Bot Chasses au Trésor et maps bloquantes | Cadernis - Communauté de passionnés en informatique

Vu qu'un des commentaires semblent expliqué que les infos se trouve dans les fichiers d2p mais là ça va me prendre un certain moment je pense parce que j'aimerais réussir a comprendre la logique en regardant le code de dofus pour pouvoir mettre a jour ma solution dans le futur. Si j'arrive a une solution, je serais curieux de savoir comment tu t'y es pris valchiimiste a ce sujet si tu as moyen d'expliqué en mp ou discord vocal comment ça marche en attendant je vais continuer d'explorer le forum en quête de piste

et pour rebondir sur cv.matchTemplate() je pense pas que ça fonctionne en niveau de gris c'est l'exemple de la doc :

OpenCV: Template Matching

img_gray = cv.cvtColor(img_rgb, cv.COLOR_BGR2GRAY)

template = cv.imread('mario_coin.png',0)

mais ça marcherais aussi avec

img_gray = cv.imread('mario.png', cv.IMREAD_UNCHANGED)

template = cv.imread('mario_coin.png', cv.IMREAD_UNCHANGED)

il me semble qu'il faut que les data a comparé soit juste dans le même format pour opencv et dans la doc j'ai l'impression que les 2 sont convertis en niveau de gris pour que le process aille plus vite par la suite

Janembam

valchimiiste
3 - Arriver sur la map de départ
Si on ignore les étapes assez simples pour arriver dans la malle, l'obtention de la map de départ se fait elle aussi en capture d'image. Après avoir standardisé la position de la map ( via un dézoom et un recadrage pour etre sur de voir a la fois B0nTA et Brak ) j'ai fais un template matching avec openCV pour rechercher le jalon de départ. Un shift clic et la position se retrouve dans mon chat que je vais copier coller ( via postMessage ) . J'analyse ensuite mon presse papier pour connaitre X et Y. Ensuite via une List de tuple contenant le nom, et les coordonnées de tous les zaaps du jeu, je crée un MinHeap dans lequel j'enregistre la différence de maps entre la map de départ et la position pour savoir quel est le zaap le plus proche. Une fois ceci fait , HavreSac > Zaap > Clic > Entrée du nom de ce zaap le plus proche. Par la suite un "/clear" et un "/travel X Y" me permettent alors d'arriver sur la map de départ. ( Le /clear sert a détecter le message m'indiquant etre arrivé )

Oh !! C'est exactement ce que je cherchais. Thanks !

KevinDemaux

Hello !

Super projet, tu me donnes envie de m'y remettre, après quelques essais infructueux ou décevant avec PyAutoGui

Je voudrais en effet profiter un maximum de AutoIt pour que mes actions soient le plus semblables possible à celles d'un humain

Mais je pense en te lisant qu'il faut aussi profiter au maximum des requêtes, au moins pour obtenir des informations sur le Client autrement que par analyse d'image.

J'aurais 2 petites questions pour commencer :

- Je n'arrive pas à utiliser autoit en Python cependant ...

Donc pour l'instant je vais commencer à programmer dans l'IDE AutoIt même

Si ça vous est arrivé, mon erreur est :

OSError: Cannot load AutoItX from path: c:\users\[moi]\anaconda3\lib\site-packages\autoit\lib\AutoItX3_x64.dll

Mais je n'ai pas de fichier lib dans c:\users\[moi]\anaconda3\lib\site-packages\autoit ...

- Je ne sais pas du tout comment intercepter les requêtes, ni comment les analyser.

Est-ce que vous sauriez m'indiquer par où je pourrais commencer ? J'ai vu passer plusieurs fois les travaux de LaBot, mais je n'ai aucune idée de comment mettre ça en place

Merci d'avance :)

Par curiosité, [USER=6036]valchimiiste[/USER] tu en es où de ton projet ? Tu le considères fini ?

theo3129

Hello,

Concernant l'interception des requêtes en Python, je pense que tu peut te diriger vers Scapy -> https://scapy.net/

Pour l'analyse, je crois qu'il y a plusieurs posts qui traitent de ce sujet :)

Concernant ton souci de dll, peut etre que ça t'aidera -> stack

« Page précédente