tetelie/WebCrawler
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

add prices getters

Browse Source
This commit is contained in:
Σlie *
2026-02-27 20:02:42 +01:00
parent 26ecbfad21
commit 0d225bea41
3 changed files with 84 additions and 41 deletions
Download Patch File Download Diff File Expand all files Collapse all files

42
src/main/java/fr/tetelie/crawler/Crawler.java
View File

@ -9,49 +9,21 @@ public class Crawler {
public static void main(String[] args) {
// Création des instances
new WebScrapper();
new DatabaseConfig();
// Connexion à la base de donnée
boolean isConnected = DatabaseConfig.getInstance().connect();
// Si pas de connexion à la base de donnée on s'arrête ici
if(!isConnected){return;};
// On ajoute les images pour les nouveaux produits qui en ont pas encore
DatabaseConfig.getInstance().updatesAllMissingImages();
/*String url = "https://www.amazon.fr/Victool-temp%C3%A9rature-professionnel-r%C3%A9paration-%C3%A9lectronique/dp/B0FP2D7TBY/?_encoding=UTF8&pd_rd_w=UWXHj&content-id=amzn1.sym.5633189b-a269-4b24-8a80-52a48568a326%3Aamzn1.symc.752cde0b-d2ce-4cce-9121-769ea438869e&pf_rd_p=5633189b-a269-4b24-8a80-52a48568a326&pf_rd_r=G56TKFERTQ9WS62C7WY4&pd_rd_wg=mtTBQ&pd_rd_r=519dfa29-c58c-41b3-89ca-4d01e27bfc2e&ref_=pd_hp_d_atf_ci_mcx_mr_ca_hp_atf_d";
// On request les prix de tous les produits et on les inject dans la bdd
DatabaseConfig.getInstance().updateAllPrices();
try {
// IMPORTANT : Amazon bloque les requêtes sans "User-Agent"
Document doc = Jsoup.connect(url)
.userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
.get();
// On cherche la classe .a-price-whole
Element priceElement = doc.selectFirst(".a-price-whole");
Element fractionElement = doc.selectFirst(".a-price-fraction");
if (priceElement != null) {
String price = priceElement.text();
} else {
System.out.println("Prix non trouvé");
}
if(fractionElement != null) {
String fraction = fractionElement.text();
}else{
System.out.println("Fraction non trouvé");
}
if(fractionElement != null && priceElement != null) {
System.out.println("Le prix est de: " + priceElement.text() + fractionElement.text());
}
} catch (Exception e) {
e.printStackTrace();
}*/
}
}