Ocean的网络阅读 11/10/2017
- 现金贷行业出现一种“同业爬虫”产品，可以直接将其他现金贷平台的放款额和风控数据爬出来。
- 同业爬虫是一款专门爬取现金贷数据的产品，只需要你提供其他现金贷平台的用户名和密码，就可以爬取用户的所有信息。
如果条件允许，甚至会有更为细致的数据维度：
“也就是说，你在其他现金贷平台注册填写的所有信息，都可能被爬出来”，王浩称。
“只需用户授权账号和密码，成功率在85%以上”，魔蝎科技的商务对一本财经称。
而产品说明中，同业爬虫的优势被描述得极为诱人：相对于电商、社交等弱数据而言，同业数据本身属于金融范畴，最能反映个人近期的征信信息。
大家都知道支付宝的数据“金贵”，市面上开始出现一些专门爬取支付宝数据的产品。
摩羯科技的支付宝爬虫产品操作极为简单，只需要用支付宝扫描一下登录“二维码”，就可登录。
而后台的爬取结果无比细致：支付宝用户的真实姓名、手机号、收货地址、近一年的购物信息，甚至详细到每笔交易的金额。
“这个产品挺可怕的，我和商务在测试这个产品时，中间去小卖部买了包烟，回来就发现爬取了这次交易”
- 某大数据公司的业务员称，公司最近开发了新项目，可爬取旅行网站、外卖平台、地图、共享单车等平台的个人信息，甚至可以定制化抓取，“拿到第一手鲜活原始数据”。
众多爬虫公司，其中做得最大的是“聚信立”。
“爬取通讯录，主要是用于用户失联后，可以找他们的亲朋好友催款”，某平台的风控负责人平元鑫称，但通讯录的伪造成本较低，“将联系人改一个号码就行”，有时候可能会失效。
而通话记录的数据，则可靠得多。
而爬取方式也很简单，只要用户提供手机号码和服务码，就可登陆各大运营商的系统爬取。
聚信立爬取数据后，提供给客户的“个人用户报告”极为细致：包括通话号码、次数、时长等信息。
“聚信立爬取一次的价格，是 1 到 3 块，但也成了现金贷公司的标配，聚信立赚了很多钱
- 成立的公司越来越多，但大部分都是代理商，真正有爬虫技术的，也就 30 多家
未经授权爬取用户手机通讯录超过 50 条记录，公司法人最高可获刑 3 年;
未经授权读取用户公积金社保记录的超过 5 万条的，公司法人最高可获刑 7 年。
整个大数据行业面临生死劫，上万数据接口关停，大量数据源被生生切断，行业90%的公司面临淘汰。
而有意思的是，在这轮清洗中，爬虫技术却成了最后的救命稻草。
“安全法规定，获取用户的数据，必须授权，而爬虫就打了一个擦边球”，某大数据公司的CEO称。
“爬虫需要用户授权用户名和密码，只是大部分用户不知道，爬取的数据如此具体，将他所有数据翻遍”
现金贷早期，客户资质都比较好，后期骗贷和欺诈的都来了，只靠简单的爬虫技术，很难挡住他们。
“爬虫公司要提供更多价值，比如，给对方的风控产品，定制化数据，或者自己也可以建立风控模型
- “现在最关键的能力，不是建模能力，而是整合和清洗能力”，聚信立的CEO罗皓对一本财经称，因为数据维度越来越多，电商、支付等信息，可能都关系到“还款能力”，需要整合起来。
- FPGA（Field Programmable Gate Array）于1985年由xilinx创始人之一Ross Freeman发明，虽然有其他公司宣称自己最先发明可编程逻辑器件PLD，但是真正意义上的第一颗FPGA芯片XC2064为xilinx所发明
- 现在FPGA的主流设计还是采用verilog设计（早期有使用原理图方式，这个方式更接近硬件搭积木，但大规模的设计无法完成）。用matlab，C语言做算法设计，然后通过工具直接转化为verilog的方式，喊了十几年，到现在还未成为主流，说明工具在转化verilog方面其效果还不如有经验的FPGA人员写的代码。Verilog语言本身非常简单，但FPGA设计的难点并不在语言，而是对FPGA器件内部资源和硬件的熟悉，你写的语言能和你使用的目标器件高效的配合起来，使它的效果、利用率以及程序的可读性达到最优，这个难度就非常大了。
- 如果想在FPGA设计领域做得很深入，国内著名通信设备厂家绝对是最好的选择，没有之一。当然，如果有IC设计经验的人，转为FPGA开发，则会快很多，而且基本功也很扎实，但需要补充行业、系统经验。
- FPGA从诞生起，就注定和ASIC站在不同的阵营。ASIC是固化好的芯片，不可以进行硬件编程（上面跑软件的不属于硬件编程）而随意改变硬件结构，而FPGA则可以根据设计者的需要改变硬件结构。因此，从灵活性来说，FPGA远强于ASIC芯片，而且FPGA开发周期也比ASIC要短，因此在有些领域或者场景下，FPGA比ASIC有优势，比如通信领域，协议标准还不成熟时，各个厂家大量的私有接口，使用FPGA能快速推出产品，而且高度灵活满足了非标准接口的开发。再比如工业领域，很多功能也可能是非标的，很难找到合适的ASIC芯片，这时FPGA也是很好的选择。但是FPGA也有它的弱点，为了保证灵活性，芯片里面预留了可配置逻辑，即相对ASIC增加了冗余的面积，这样既增加了成本也增加了功耗，这就决定了在有些领域里面它很难竞争过ASIC，比如终端产品，它对低功耗要求比较高。在标准化的产品、功能里面，它不需要那么灵活，这也不是FPGA的菜。
- FPGA在整个芯片行业占比总体来说比较小。这些年FPGA总体市场规模在40亿美金左右（加上CPLD大概在50多亿美金），而2016年全球芯片市场规模大概在4000亿美金左右。
- FPGA本身的特点，决定了它不是在每个行业、产品都适合应用，标准化的，功耗要求很严格的，单价很低的产品都不适合，而这些恰恰是电子产品中占比大的，事实上，FPGA用得比较多的行业主要有通信、工业控制、医疗设备、及高端安防等，以及航天和军工（可靠性要求高，但量不大），未来可能数据中心和AI会是一个爆发点
- 一般来讲越往终端侧靠近，设备的数量越多，用的FPGA量也越多，越靠近核心网侧用的FPGA数量越少，但FPGA芯片的型号越高端，单片更贵。
Posted from Diigo. The rest of 互联网之'我的阅读' group favorite links are here.
评论
发表评论