JS逆向、爬虫和boss直聘
如何组织JS/TS项目结构
爬虫不像前端项目有严格的项目结构,但也不能随便应付。所以使用一些简单的项目结构。
- root
- lib # 可以被抽离出来的库,比如Proxy和Hook等等
- src
- ...
- website
- some-website # 具体的被爬网站
- lib # 使用软连接连接到lib,方便使用库方法
方法论
总的方法论即对比浏览器生成的数据与nodejs生成的数据是否一致,确保数据一致。简而言之,能骗过服务器即可。
但存在不一致的数据时,可通过不同手段对比与浏览器生成的数据。解析状态机的实际意图。这就引出了很多手段。
手段
- patch源代码,打印函数调用的返回值,有必要时也可打印入参。分别对比结果在nodejs和浏览器中是否一致。
- 打印状态机的状态,追踪状态机运行轨迹。
- Hook原本的函数,在Javascript中就是直接对函数赋值,这里不讨论逆向原生应用。
结果
目前使用Boss直聘的__zp_stoken__可以正常访问,但是大多数结果需要登录后才能获得,所一下一步需要解决登录的问题。了解boss直聘是如何维护登录Cookie的。
知识点
- Javascript原型链可以通过
Object.getPrototypeOf获得,也可以使用Object.SetPrototypeOf设置。也可使用Object.create直接在某个对象上创建一个对象,该对象原型默认是Object.create指定的对象。 - 在模拟DOM中,需要批量的创建Property,就可以使用
Object.defineProperty或Object.definedProperties来批量创建Property。 - ES6提供的Proxy有许多有用的API,虽然可以有效拦截操作。但有时还是需要
Object.defineProperty和Object.defineProperties来定义或修改属性。
注意事项
- iframe被创建后contentWindow为null,被appendChild之后变为window,removechild之后变回null。
- 在DOM中有一个document.all,因为历史遗留问题,他被称作“异常对象”(Exotic Object)。在在Javascript中使用宽松相等(==)比较中,表现的和undefined和null一样。
方案
解决如何模拟document.all的方案:
使用nodejs提供的不可检测对象。
const v8 = require("v8");
const vm = require("vm");
// 允许使用 V8 内置函数(需启用 --allow-natives-syntax 标志)
v8.setFlagsFromString('--allow-natives-syntax');
// 创建不可检测对象
let undetectable = vm.runInThisContext('%GetUndetectable()');
// 恢复标志禁用(可选)
v8.setFlagsFromString('--no-allow-natives-syntax');
function HTMLAllCollection() {
return undetectable;
};
Object.defineProperties(HTMLAllCollection.prototype, {
[Symbol.toStringTag]: {
value: 'HTMLAllCollection',
configurable: true
},
});
undetectable.length = 3;