Python工程師_爬蟲工程師_Python大數(shù)據(jù)培訓(xùn)_Python大數(shù)據(jù)分析培訓(xùn)_大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)|華信智原Python工程師培訓(xùn)

項目一 華信商城

項目簡介：

大型B2C電子商務(wù)平臺，包含用戶中心、商品展示、購物車、訂單、支付、評論、搜索等功能。

項目特色：

1、采用前后端分離的技術(shù)

2、使用Django REST framework +VUE技術(shù)實現(xiàn)

3、采用數(shù)據(jù)庫讀寫分離技術(shù)

4、使用FastDFS實現(xiàn)商品圖片數(shù)據(jù)的存儲

5、可掌握支付相關(guān)業(yè)務(wù)的實現(xiàn)

6、可掌握搜索相關(guān)技術(shù)的使用

項目二 分布式爬蟲項目

項目簡介：

大型門戶網(wǎng)站和大型婚戀網(wǎng)站積累了海量信息，提取有用的價值，應(yīng)用于數(shù)據(jù)挖掘、海量數(shù)據(jù)分析、市場分析（包括熱點資訊、關(guān)鍵詞點擊、輿情分析、全國婚戀市場等情況），掌握爬蟲技術(shù)顯得尤為重要。

項目特色：

1、Python 多線程爬蟲及其機(jī)制

2、使用Python、requests等網(wǎng)絡(luò)模塊

3、使用Python lxml、BeautifulSoup、re、json模塊進(jìn)行數(shù)據(jù)提取

4、XPath語法規(guī)則和各CSS Selector的使用

5、使用Selenium+Chrome實施動態(tài)HTML抓取

6、掌握Scrapy框架，以及編寫各類中間件

7、掌握scrapy-redis分布式框架，了解各組件工作機(jī)制

項目三 華信資訊項目

項目簡介：

一款新聞類型的Web項目，主要為用戶提供金融資訊、數(shù)據(jù)，以抓取其他網(wǎng)站數(shù)據(jù)和用戶發(fā)布作為新聞的主要來源。

項目特色：

1、使用Flask Web框架 實現(xiàn)

2、前后端不分離 的形式實現(xiàn)具體業(yè)務(wù)邏輯

3、常見的 Web 開發(fā)流程以及第三方平臺工具的集成和使用

項目四 聊天機(jī)器人項目

項目簡介：

小智聊天機(jī)器人，使用了自然語言處理的技術(shù)，實現(xiàn)人機(jī)對話。實現(xiàn)的是一個類似智能客服的系統(tǒng)，實現(xiàn)了閑聊功能和問答功能，在App上提供了入口，能夠和機(jī)器人閑聊和編程相關(guān)的問題。

項目特色：

1、接受用戶的輸入

2、對輸入內(nèi)容進(jìn)行預(yù)處理和特征提取

3、使用分類方法判斷用戶輸入的內(nèi)容

4、如果意圖為閑聊，調(diào)用閑聊的模型返回結(jié)果

5、如果意圖為提問，調(diào)用問答模型返回結(jié)果

項目四 華信商品推薦系統(tǒng)

項目簡介：

建立在海量用戶與海量文章之上，使用Lambda架構(gòu)整合實時計算和離線計算，借助分布式環(huán)境提升計算能力；使用Flume收集用戶的點擊、瀏覽、收藏等行為，建立用戶畫像和文章畫像，并存儲于HDFS集群；通過離線Spark SQL計算建立HIVE特征中心，存儲到HBase集群；通過ALS、LR、Wide&Deep等機(jī)器學(xué)習(xí)與深度學(xué)習(xí)、推薦算法進(jìn)行智能推薦，達(dá)到千人千面的用戶推薦效果。

項目特色：

1、ABTest實驗平臺

2、用戶反饋收集

3、實時計算平臺

4、離線計算分析平臺