Créateurs d'entreprise, entrepreneurs, passionnés d'entrepreneuriat,

Participez maintenant au forum Entreprise & Entrepreneurs !

Inscrivez-vous gratuitement, présentez-vous et participez aux discussions !

Ce qui vous attend sur le forum Entreprise & forum Entrepreneur :

• - Inscription gratuite.
• - Publicité gratuite pour vous et votre entreprise.
• - Conseils gratuits pour toutes les questions que vous vous posez sur l'entreprise, la création d'entreprise et l'auto entrepreneuriat.

» Cliquez-ici pour vous inscrire ».

Forum Entreprise & Entrepreneur : Forum entrepreneur, forum création d'entreprise, forum auto-entrepreneur » Présentation et avis sur votre site web » Comparateur de prix (Voyages, séjours etc,)

1. OxaD
   

   Entrepreneur coutumier
   Messages: 8

   
   Connectez-vous pour envoyer un message privé.

   Bonjour,

   Je souhaite créer un comparateur de prix qui permet de trouver des voyages, séjours, croisières... J'ai déjà une idée précise de comment fonctionnera cette application Web, en revanche, je ne vois pas vraiment par où commencer en ce qui concerne la récupération des offres présentent sur les sites des différentes agences de voyages qui travaillent principalement sur internet.

   Concrètement, je pense que plutôt que de parser (récupérer) ce que retourne les pages de résultats, il serait plus judicieux d'utiliser les API / Flux RSS etc... que mettent à disposition les agences aux Webmasters, partenaires etc.

   Le problème c'est qu'en essayant de m'inscrire aux différents systèmes d'affiliations et outils webmaster que proposent les agences qui ont le plus de notoriété et souvent beaucoup de contenu, j'ai constaté que l'activation de l'accès webmaster se faisait après inspection du site... Je comptais me baser sur ces outils pour optimiser les procédés qui servent à l'affichage des résultats et je me vois mal faire le travail "à l'envers", c'est à dire constituer moi même une base de donnée fictive afin de pouvoir montrer que mon moteur fonctionne correctement, puis ensuite me concentrer sur la récupération de vraies offres une fois le système fonctionnel.

   D'un point de vue technique, je maitrise déjà la quasi totalité des langages Webs et en terme de conception graphique je n'ai pas trop de problèmes non plus, donc il me manque juste quelques pistes / avis pour continuer ^^.

   Merci à ceux qui pourront m'éclairer sur ce sujet.

   Le logo : http://www.filesuploads.net/sejour/images/sejour.co.png
   Une première approche de la charte graphique : http://www.filesuploads.net/sejour/

   -- OxaD

   Posté il y a 1 année #

2.  

3. Gautier Girard
   
   

   Cafetier du forum
   Messages: 8,513

   
   Connectez-vous pour envoyer un message privé.

   Bonjour OxaD,

   Ton logo et ton design sont très jolis. Bravo !!

   Ecoutes, on ne va pas dire que c'est officiel et 100% sûr mais d'après ce que je sais de mes collègues, la plupart des sites de comparateurs fonctionnent au scraping. C'est à dire qu'ils font ce dont tu parles, à savoir récupérer les contenus des pages de résultats.

   Pour les plus perfectionnés, il y a une requête suivie d'une mise en cache des résultats toutes les x minutes afin que les résultats s'affichent rapidement du côté des visiteurs.

   Par contre je suppose que ce genre de choses requiert beaucoup de puissance système...

   Autre approche : mettre en ligne un banal site de contenus à partir de ton design, attendre la validation, puis commencer le boulot.

   A te lire,

   Bonne journée!

   Gautier Girard.
   - Pour réseauter, vous faire connaître : remplissez votre profil
   - Une question ? Ouvrez un sujet ici

   Posté il y a 1 année #

4. OxaD
   

   Entrepreneur coutumier
   Messages: 8

   
   Connectez-vous pour envoyer un message privé.

   Bonjour Gautier,

   Merci pour ta réponse et pour ton avis sur ce que j'ai déjà réalisé. Effectivement je ne pensais pas être obligé de passer par des méthodes de scraping / data mining pour remplir ma base de donnée, surtout parce que la principale contrainte est la fréquence de mise à jour des scripts de scraping pour s'adapter aux éventuelles modifications des sites référencés. Je pense commencer avec 2 ou 3 agences biens distinctes qui auront une base de donné commune (la mienne) qui fera office de "premier système de cache". En ce qui concerne les performances du serveur je pense que c'est surtout au niveau de la base de donnée que j'ai à me faire du soucis d'ailleurs, compte tenu de la grande quantité d'offres et d'informations qui vont y transiter quotidiennement ne serait-ce que pour mettre à jour ou ajouter de nouvelles offres.

   Par rapport au plan d'hébergement, je commencerai sur une machine de type entrée de gamme voir "middle-gamme" (ex: Kimsufi) pour éventuellement évoluer vers un serveur plus performant si c'est nécessaire et si le site web peut être rentable / auto-financer son hébergement.

   Pour finir c'est un projet que je réalise sur mon temps libre donc je n'ai aucune obligation spécifique, mais je pense le développer au maximum car ça pourrait être une bonne référence (quand je dis référence, j'entends pour moi, pas forcément une référence sur le net), et je n'ai pas encore réalisé de comparateur :b

   Je vous tiendrais au courant de l'avancement :]

   Bonne journée à toi aussi.

   -- OxaD

   Posté il y a 1 année #

5. Gautier Girard
   
   

   Cafetier du forum
   Messages: 8,513

   
   Connectez-vous pour envoyer un message privé.

   Bonjour OxaD,

   Cela m'intéresserait effectivement de connaître l'avancement de ton projet.

   Mieux vaut en effet commencer avec peu d'agences je pense. Niveau performance il y a disons à prendre en compte la base de données comme tu le soulignes, ainsi que le trafic (parce que télécharger x pages sur x sites différents consomme de la bande passante...).

   J'ai trouvé ça tout à l'heure qui marche avec cURL, peut-être un début de base de départ pour ton script de scraping : http://www.hotscripts.com/listing/grabber/ (téléchargement du zip en bas de la page du site en question).

   Concernant l'aspect référence, il y a aussi et surtout je trouve un point important à envisager : si tu arrives à faire la technologie pour les agences de voyage, tu peux dupliquer le concept pour les locations de voiture et tout ce qui peut être comparé sur Internet. Ce qui peut à terme te constituer une jolie flotte de sites web... :-)

   En tous cas, c'est un truc qui me passionne !

   Posté il y a 1 année #

6. OxaD
   

   Entrepreneur coutumier
   Messages: 8

   
   Connectez-vous pour envoyer un message privé.

   Re Bonjour ^^

   Je te remercie pour ta contribution. De façon générale, le parsing ne me fait pas vraiment peur :), j'ai d'ailleurs un début de script pour le site que je vais récupérer d'un robot d'indexation que j'avais réalisé (plus pour apprendre à utiliser quelques librairies justement dédiées à la récupération de contenu web). Ce n'était pas cURL (que je connais un peu) mais Mechanize, Clientform et BeautifulSoup qui sont des librairies (pour le langage Python) destinées à tout ce qui tourne autour du data mining / scraping / grabbing, remplissage de formulaire etc.

   Mechanize & Clientform
   http://wwwsearch.sourceforge.net/old/mechanize/
   http://wwwsearch.sourceforge.net/mechanize/

   BeautifulSoup
   http://www.crummy.com/software/BeautifulSoup/documentation.html

   Je n'ai pas encore réalisé de site "full Python" mais c'est mon langage de programmation préféré, alors quand j'ai l'occasion de l'utiliser on va dire que je ne m'abstiens pas :b. Pour finir, c'est un truc qui me passionne aussi donc je vais me remettre au boulot dès à présent ! :)

   Posté il y a 1 année #

7. Gautier Girard
   
   

   Cafetier du forum
   Messages: 8,513

   
   Connectez-vous pour envoyer un message privé.

   Ouh là là, tes librairies Python sont d'une autre classe (*) que ce que je t'ai envoyé.

   Hum. Waouh ! Moi très impressionné. ;-)))

   Posté il y a 1 année #

8. OxaD
   

   Entrepreneur coutumier
   Messages: 8

   
   Connectez-vous pour envoyer un message privé.

   C'est vrai qu'elles sont vraiment performantes et puissantes, sinon à première vue ça peut paraitre assez complexe mais en fait, avec quelques notions de Python on se rend compte qu'elle sont plutôt faciles d'accès ^^

   Posté il y a 1 année #

9. Kim
   

   Entrepreneur en herbe
   Messages: 1

   
   Connectez-vous pour envoyer un message privé.

   Bonjour,
   J'habite au Brésil. Je voudrais y créer un site de comparaisons de tarifs de vols d'avion comme on trouve en France (www.voyagermoinscher.com, ebooker, ...).
   J'ai du mal à comprendre comment ça marche : je dois créer un moteur de recherche où les internautes devront remplir les champs "ville de départ arrivé et date", ensuite ces informations vont se grever sur les moteurs de recherche de prix des sites des compagnies aériennes (par liens hypertextes ?) ou faut-il que j'achète un logiciel GDS que je couple avec un moteur de recherche ?
   Autres questions : quel est le budget à prévoir pour un tel site ?
   Merci de me faire part de votre analyse

   Posté il y a 11 mois #

Fil RSS de ce sujet.

Ecrire une réponse

Vous devez être connecté pour poster.