<p id="lnbpp"></p>
    <thead id="lnbpp"><listing id="lnbpp"><listing id="lnbpp"></listing></listing></thead>

    <address id="lnbpp"></address>

    <address id="lnbpp"></address>
    <noframes id="lnbpp">
    <form id="lnbpp"><nobr id="lnbpp"><meter id="lnbpp"></meter></nobr></form>
    <sub id="lnbpp"><address id="lnbpp"></address></sub>

        <span id="lnbpp"></span>
        <form id="lnbpp"></form>

        5
        新手入門 功能點介紹

        【智能模式】【流程圖模式】如何設置數據去重

        2019-12-24 16:08:34
        瀏覽 11274 次

        摘要:本教程為大家介紹了如何設置數據去重 免費下載軟件

        數據去重功能是指在任務采集過程中,將當前采集到的數據和該任務中已保存的所有數據進行對比,如果數據重復,則按照設置條件進行處理。

        在編輯任務界面,點擊右下角“開始采集”按鈕,在彈出的設置框中,點擊“數據去重”選項可以切換到數據去重設置界面。

        1、去重條件

        1)所有字段都重復

        勾選“所有字段都重復”這個去重條件,意味著兩行數據必須完全相同,軟件才會執行去重。只要兩行數據中有任意一個字段不相同,該數據都不會被判定為重復數據。

        需要注意的是,很多網頁內容中存在時間或閱讀數這一類會變化的內容,包含此類內容時,數據往往看上去大致相同,但是都會判定為非重復的數據。

        2)某些字段重復

        勾選此去重條件,軟件可以針對某一個或者某幾個字段進行去重。

        按照字段去重可以設置多個字段,點擊“+”或者“—”符號進行設置,多個字段之間的關系是并且關系,即如果設置了兩個字段去重,則需要滿足字段1和2與已保存的某一條數據中的兩個字段都相同,則判定該數據為一條重復數據。

        2、執行動作

        滿足去重條件時,我們可以設置在這個去重條件下是跳過繼續采集,還是停止任務。

        分享到:
        數據自動整理成excel 批量下載圖片 批量下載視頻 python爬蟲 批量生成網址 網頁下載成word 正則匹配郵箱 網頁內容關鍵字提取 python數據采集 php爬蟲
        關閉
        解开白丝老师的裙子猛烈进入
        <p id="lnbpp"></p>
          <thead id="lnbpp"><listing id="lnbpp"><listing id="lnbpp"></listing></listing></thead>

          <address id="lnbpp"></address>

          <address id="lnbpp"></address>
          <noframes id="lnbpp">
          <form id="lnbpp"><nobr id="lnbpp"><meter id="lnbpp"></meter></nobr></form>
          <sub id="lnbpp"><address id="lnbpp"></address></sub>

              <span id="lnbpp"></span>
              <form id="lnbpp"></form>