Python a toujours été mon outil de prédilection pour le scraping de données. Ce n'est que récemment, en essayant Rust, que j'ai réalisé à quel point ses avantages sont évidents dans des scénarios de scraping à grande échelle.

Pour ce qui est de l'extraction des données boursières, lorsque vous devez traiter des centaines voire des milliers de requêtes simultanément, les performances de concurrence et le contrôle de la mémoire de Rust sont tout simplement écrasants. Bien que Python soit rapide à écrire, il commence à peiner à ce niveau.

Ce n'est pas que Python ne fonctionne pas, mais il faut choisir les bons outils pour le bon contexte. Petits projets ? Python suffit. Pour étendre à un traitement de données massif ? Rust est celui qui peut supporter la pression.

Voir l'original

Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.

10 J'aime

Récompense
10
4
Reposter
Partager

Commentaire

0/400

WenMoon42

· Il y a 6h

Des milliers de requêtes simultanées, Python ne peut vraiment pas les supporter... L'année dernière, j'ai déjà rencontré ce problème, mais après être passé à Rust, c'est devenu génial.

Voir l'originalRépondre0

MEVVictimAlliance

· Il y a 6h

Vraiment, avoir utilisé Rust pour traiter de grandes quantités de données m'a fait comprendre ce qu'est une attaque de réduction de dimension.

Voir l'originalRépondre0

FlatTax

· Il y a 6h

Ah, encore un vieux frère fasciné par la performance de Rust, j'ai juste jeté un œil et j'ai compris l'histoire qui va suivre.

Voir l'originalRépondre0

JustAnotherWallet

· Il y a 6h

Ah, enfin quelqu'un l'a dit. J'avais déjà remarqué que Python a des faiblesses dans le domaine des crawlers à grande échelle, et maintenant ceux qui utilisent Rust commencent à prendre de l'avance. --- La courbe d'apprentissage de Rust est raide, mais une fois que l'on a compris, c'est vraiment agréable. Il y a deux mois, j'étais aussi tiraillé entre Python et Rust, et finalement, j'ai décidé d'apprendre Rust à contrecœur. --- Pour être honnête, le développement rapide avec Python est un avantage, mais quand il s'agit de traiter une énorme quantité de données, la vraie nature se révèle, j'en ai fait l'expérience. --- Le terme "écraser" est vraiment approprié. Mon crawler est passé de Python à Rust et les coûts ont diminué de plus de la moitié, l'efficacité a vraiment décollé. --- Cependant, le coût d'apprentissage de Rust est vraiment intimidant, une petite équipe devrait plutôt se débrouiller avec Python, à moins que ce ne soit un projet de taille vraiment énorme. --- Il y a quelque chose là-dedans. En ce qui concerne les performances de concurrence, Rust n'a vraiment pas de concurrent, l'ancien GIL de Python m'a causé pas mal de problèmes. --- Ce point est bon, mais cela dépend aussi du scénario commercial spécifique. Certains projets de crawlers n'ont en fait pas besoin de performances aussi extrêmes, Python suffit.

Voir l'originalRépondre0

Sujets populairesAfficher plus
#TopGainersInADownMarket
742 Popularité
#FOMCMeetingMinutesComingUp
726 Popularité
#BitcoinPriceWatch
690 Popularité
#GovShutdownOfficiallyEnded
30.07K Popularité
#BuyTheDipOrWaitNow?
16.13K Popularité

Hot Gate FunAfficher plus

1
GCGCOMMUNITY
MC:$3.81KDétenteurs:1
0.00%
2
98
MC:$3.81KDétenteurs:1
0.00%
3
ChildMasChildMas
MC:$3.8KDétenteurs:1
0.00%
4
GTMGTM
MC:$4.01KDétenteurs:3
1.00%
5
ASIFTAHSINASIF TAHSIN
MC:$3.8KDétenteurs:1
0.00%

Épingler