爬蟲開發(fā)工程師崗位簡(jiǎn)介
爬蟲開發(fā)工程師是掌握python和網(wǎng)絡(luò)爬蟲技術(shù)，能夠從任何一個(gè)網(wǎng)頁開始，不斷鏈接其它網(wǎng)頁，實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)的索取并開發(fā)相關(guān)軟件的工程技術(shù)人員。
爬蟲開發(fā)工程師崗位職責(zé)
1、主導(dǎo)和參與爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)、開發(fā)與優(yōu)化;
2、研究?jī)?yōu)化爬蟲算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性;
3、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量;
4、能獨(dú)立解決實(shí)際開發(fā)過程中碰到的各類問題;
5、負(fù)責(zé)大數(shù)據(jù)產(chǎn)品所需網(wǎng)站的信息抓取、解析、清洗等研發(fā)與優(yōu)化工作;
爬蟲開發(fā)工程師崗位要求
1. 熟悉爬蟲基本原理，熟悉常見的反爬蟲技術(shù)，有爬蟲相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先;
2. 熟悉http協(xié)議，熟悉html、xpath等常見的數(shù)據(jù)抽取技術(shù)。
3. 精通HTML/DOM
4. 熟悉JavaScript或ActionScript3
5. 熟悉TCP/IP、HTTP、WebSocket協(xié)議
6. 有較強(qiáng)的代碼閱讀能力
7. 兩年以上破解/逆向分析經(jīng)驗(yàn)
8. Python語言
9. 參與過多人協(xié)作項(xiàng)目，擁有大批量分布式多線程抓取經(jīng)驗(yàn)者優(yōu)先
爬蟲開發(fā)工程師發(fā)展前景
其實(shí)爬蟲涉及的東西挺多的，包括JS逆向，安卓逆向、架構(gòu)設(shè)計(jì)這些比較復(fù)雜的知識(shí)，尤其是安卓逆向，算是雜學(xué)了，門檻挺高的，競(jìng)爭(zhēng)力肯定也是可以的。
爬蟲所做的工作的結(jié)果，得到的是基礎(chǔ)的數(shù)據(jù)。
基礎(chǔ)數(shù)據(jù)之上，有哪些發(fā)揮用途的地方，就有哪些拓寬職業(yè)道路的地方。
在基礎(chǔ)數(shù)據(jù)上往上走，數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展示(可視化或Web)、數(shù)據(jù)應(yīng)用(挖掘)，都可以在這些領(lǐng)域繼續(xù)向前。
大數(shù)據(jù)和人工智能時(shí)代下，爬蟲工程師這幾年是路越走越寬的，但是初級(jí)爬蟲工程師基本會(huì)被八爪魚這類軟件替代，高級(jí)爬蟲工程師的能力重點(diǎn)不在于會(huì)寫幾個(gè)get，post請(qǐng)求，使用正則解析下文本這么簡(jiǎn)單，而是在對(duì)數(shù)據(jù)和業(yè)務(wù)本身的立即深刻，對(duì)于從數(shù)據(jù)中如何整合挖掘價(jià)值有一整套的思路和方法，包括精通數(shù)據(jù)分析，精通各種數(shù)據(jù)庫。
