Golang爬,golang爬蟲和python爬蟲

本文目錄一覽：

• 1、golang微服務方案
• 2、golang從入門到精通，搭建本地selenium自動化測試環境
• 3、python寫爬蟲好還是golang
• 4、常見問題之Golang—— no required module provides package XXXXX
• 5、常見問題之Golang——invalid character ‘-‘ in numeric literal錯誤

golang微服務方案

近期啟動一個項目，業務端使用的python，要爬取多維度的數據。有兩個業務模塊使用的多進程（發現python多線程有弊端），其他業務打算利用go(線程和協程)的特性，以微服務的模式實現。其實直接go buildmode也可以實現，經團隊討論還是採用了微服務方案，更有長遠意義

持續補充…

golang從入門到精通，搭建本地selenium自動化測試環境

用Golang做爬蟲，當面對頁面存在複雜的JS的情況，使用普通的http.get或者http.post，如不做特殊處理，將無法解析頁面源代碼。

在使用python的過程中，可以使用selenium進行爬取數據，或使用selenium自動化測試，那麼用Golang怎麼處理這個問題呢？

其實Golang中也有selenium，Selenium 作為一個用於 Web 應用程序測試的工具，可以模擬真實瀏覽器進行操作，也可以實現鼠標點擊、滾輪、輸入等用戶日常操作。

我們通過2節課的學習，實現1、本地啟動selenium服務；2、遠程啟動selenium服務。

python寫爬蟲好還是golang

我的思路是這樣，因為自己起點低，還精力有限，又想彎道追上技術潮流，所以着眼未來，選擇Golang。既然敢叫雲技術語言，那麼它的性能自然是適合未來發展的，像facebook這樣的大公司貌似也挺重視它…最最主要的，賭它未來能全棧應用，期待可以直接上手用Go開發Android和iOS應用的那一天～

框架選擇上嗎，初級選手建議Revel（開源案例比較多，老框架、Go官方給予了該框架很高的評價），其實Go語言眾多框架性能都很卓越，水平高的不用框架直接玩更爽。順嘴吐一下槽，Go語言框架之多如少女臉上的青春痘～

對了，選擇Go語言的好處是，各個社區學習互助氛圍比較好，你去哪個網上社區去請教問題，都會有人熱情解答～

常見問題之Golang—— no required module provides package XXXXX

日常我們開發時，會遇到各種各樣的奇奇怪怪的問題（踩坑o(╯□╰)o），這個常見問題系列就是我日常遇到的一些問題的記錄文章系列，這裡整理匯總後分享給大家，讓其還在深坑中的小夥伴有繩索能爬出來。

同時在這裡也歡迎大家把自己遇到的問題留言或私信給我，我看看其能否給大家解決。

no required module provides package XXXXX

在使用包時沒有找到具體的包

1、檢查當前包是否有效引入了或該組件包是否與實際包名稱一致。

2、存在沒有開啟模塊化的問題，golang1.16以後都是默認開啟的，GO111MODULE=on

3、如果該錯誤後面還有其他的提示，就需要根據其他提示進行有針對性的處理了。

常見問題之Golang——invalid character ‘-‘ in numeric literal錯誤

日常我們開發時，會遇到各種各樣的奇奇怪怪的問題（踩坑o(╯□╰)o），這個常見問題系列就是我日常遇到的一些問題的記錄文章系列，這裡整理匯總後分享給大家，讓其還在深坑中的小夥伴有繩索能爬出來。

同時在這裡也歡迎大家把自己遇到的問題留言或私信給我，我看看其能否給大家解決。

本文主要是對我日常在使用golang時遇到的一些問題與解決方式進行的匯總，在此提供給大家便於排查一些遇到的問題，其中有更好的解決方案可在評論區留言。

我在使用postmain測試接口時後端報錯，該錯誤原因是因為使用請求頭使用的是form-data而後端接受使用的json，這時就會出現該問題

問題圖

這裡改成使用json格式提交即可解決該問題。

解決圖