Python всегда был моим любимым инструментом для сбора данных. Только недавно, попробовав Rust, я обнаружил, что в сценариях массового захвата его преимущества слишком очевидны.
Если говорить о парсинге данных акций, когда вам нужно одновременно обрабатывать сотни и тысячи запросов, производительность параллелизма Rust и управление памятью просто превосходят. Хотя на Python писать быстрее, на таком уровне он начинает давать сбой.
Не то чтобы Python не годится, а просто инструменты нужно подбирать под ситуацию. Небольшие проекты? Python вполне подходит. Нужно расширить до обработки огромных объемов данных? Rust — это тот, кто сможет выдержать нагрузку.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
4
Репост
Поделиться
комментарий
0/400
WenMoon42
· 9ч назад
Несколько k параллельных запросов Python действительно не выдерживает... В прошлом году я уже сталкивался с проблемами, после перехода на Rust стало просто замечательно.
Посмотреть ОригиналОтветить0
MEVVictimAlliance
· 9ч назад
Действительно, только поработав с Rust для обработки больших данных, понимаешь, что такое снижение размерности.
Посмотреть ОригиналОтветить0
FlatTax
· 9ч назад
Ха, еще один старший брат, очарованный производительностью Rust, я взглянул на это и понял, что будет дальше.
Посмотреть ОригиналОтветить0
JustAnotherWallet
· 9ч назад
Ха, наконец-то кто-то это сказал. Я давно заметил, что Python имеет слабые места в массовых веб-скрейперах, и теперь те, кто использует Rust, начинают опережать.
---
Кривая обучения Rust крута, но как только ты его освоишь, он действительно хорош. Два месяца назад я тоже колебался между Python и Rust, в конце концов, я всё же решился изучать Rust.
---
Честно говоря, быстрая разработка на Python — это преимущество, но когда дело доходит до обработки огромных объемов данных, это становится очевидным, я это хорошо понимаю.
---
Слово "раздавить" здесь использовано очень уместно. После перехода моего веб-скрейпера с Python на Rust, затраты снизились более чем наполовину, а эффективность сразу же взлетела.
---
Но стоимость обучения Rust действительно пугает, небольшим командам лучше пока использовать Python, если только проект не имеет действительно больших масштабов.
---
Это действительно так. В плане параллельной обработки Rust действительно не имеет соперников, раньше из-за GIL в Python я много раз терпел неудачи.
---
Эта точка зрения неплохая, но всё зависит от конкретных бизнес-сценариев. Некоторые проекты веб-скрейпинга на самом деле не требуют такой экстремальной производительности, Python вполне подходит.
Python всегда был моим любимым инструментом для сбора данных. Только недавно, попробовав Rust, я обнаружил, что в сценариях массового захвата его преимущества слишком очевидны.
Если говорить о парсинге данных акций, когда вам нужно одновременно обрабатывать сотни и тысячи запросов, производительность параллелизма Rust и управление памятью просто превосходят. Хотя на Python писать быстрее, на таком уровне он начинает давать сбой.
Не то чтобы Python не годится, а просто инструменты нужно подбирать под ситуацию. Небольшие проекты? Python вполне подходит. Нужно расширить до обработки огромных объемов данных? Rust — это тот, кто сможет выдержать нагрузку.