编程能力:熟练掌握 Python,C语言,具备良好的编码习惯和代码质量意识
爬虫技术:熟练掌握 Scrapy、Requests、selenium 、playwright 等爬虫框架工具,能够灵活运用。
数据提取优化:熟悉 Xpath ,正则表达式,jsonpath 等提取技术。
数据处理:熟悉 Mongodb 的基本语言及使用
大数据集群:了解 hadoop、spark、hive 等分布式集群搭建
数据分析技术:熟悉数据分析的 Numpy、pandas、pyecharts、matplotlib 等数据分析方法