成都
應屆畢業(yè)生
本科
最近更新
582人關注
職位描述
該職位信息待核驗，請仔細了解后再進行投遞！
職責描述
1、參與數據采集系統的開發(fā)
2、負責網頁信息和APP數據抽取、清洗、消重等工作，提升平臺的抓取效率和質量；
3、公司大數據平臺算法編碼和spark優(yōu)化
4、大數據平臺維護
5、與產品部門和上級溝通確保數據的準確性及時性
6、參與公司教學任務（Python Java）。
任職要求：
1. 大學本科及以上學歷
2. 至少1-3年以上數據采集和數據分析經驗；
3. 掌握Spark，有scala或python開發(fā)spark分析程序的經驗；
4. 熟練掌握html、css、xpath、正則表達式、scrapy、selenium、playwright、requests、pandas；
5. 熟悉scala、python等編程語言。
6. 熟悉常見的反爬策略（驗證碼識別，IP代理池、應用Ip池、headers認證和cookie等），有一定的研究和解決問題的能力，有一定的逆向能力。
7. 了解大數據生態(tài)體系，熟悉hadoop和spark。
8. 熟練使用Python pandas等類庫進行數據清洗和分析；
9. 熟悉MongoDB, Redis, MySQL等工具的基本操作。
10. 熟練使用Python，Shell，Git、SVN版本控制，熟悉Linux開發(fā)環(huán)境。
11.會Java技術優(yōu)先。
注：聯系我時，請說是在四川人才網上看到的。
工作地點
地址：成都郫都區(qū)成都四川省成都市郫都區(qū)德源鎮(zhèn)大禹東路66號
??
點擊查看地圖
詳細位置，可以參考上方地址信息
求職提示：用人單位發(fā)布虛假招聘信息，或以任何名義向求職者收取財物（如體檢費、置裝費、押金、服裝費、培訓費、身份證、畢業(yè)證等），均涉嫌違法，請求職者務必提高警惕。
