Java开发之request对象常用方法整理

Java开发之request对象常用方法整理

更新时间：2017年02月20日 16:25:21 投稿：lqh

这篇文章主要介绍了 Java开发之request对象常用方法整理的相关资料,需要的朋友可以参考下

Java开发之request对象常用方法整理

本文主要介绍了Java中的request对象，并且对request对象中的一些常用方法作了一点总结，如果你是Java初学者，或许这篇文章对你会有所帮助。

HttpServletRequest对象代表客户端的请求，当客户端通过HTTP协议访问服务器时，HTTP请求头中的所有信息都封装在这个对象中，开发人员通过这个对象的方法，可以获得客户这些信息。

request常用方法：

一、获取客户机环境信息常见方法：

1.getRequestURL方法返回客户端发出请求时的完整URL。

2.getRequestURI方法返回请求行中的资源名部分。

3.getQueryString方法返回请求行的参数部分。

4.getRemoteAddr方法返回发出请求的客户机的IP地址。

5.getRemoteHost方法返回发出请求的客户机的完整主机名。

6.getRemotePort方法返回客户机所使用的网络端口号。

7.getLocalAddr方法返回WEB服务器的IP地址。

8.getLocalName方法返回WEB服务器的主机名。

9.getMethod得到客户机请求方式。

package com.yyz.request;
 import java.io.IOException;
 import java.io.OutputStream;
 import javax.servlet.ServletException;
 import javax.servlet.http.HttpServlet;
 import javax.servlet.http.HttpServletRequest;
 import javax.servlet.http.HttpServletResponse;
 public class RequestDemo extends HttpServlet {
   public void doGet(HttpServletRequest request, HttpServletResponse response)
       throws ServletException, IOException {
     /**
     * URL是URI的子集。
     * URI用来标识一个资源。
     * URL用来标识互联网上的一个资源。
     */
     System.out.println(request.getRequestURL());//得到请求URL地址
     System.out.println(request.getRequestURI());//得到请求的资源
     System.out.println(request.getQueryString());
     System.out.println(request.getRemoteAddr());//得到来访者IP
     System.out.println(request.getRemoteHost());
     //由于没有在dns上注册所以打印结果还是127.0.0.1,如果是百度访问这个程序，则打印www.baidu.com
     System.out.println(request.getRemotePort());//得到请求的资源
     System.out.println(request.getMethod());//得到请求的资源
 }
   public void doPost(HttpServletRequest request, HttpServletResponse response)
       throws ServletException, IOException {
     doGet(request,response);
 }
 }

在浏览器地址栏输入：:8080/test/servlet/RequestDemo后，后台输出入下图：

二、获得客户机请求头：

1.getHeader（String name）方法

2.getHeaders（String name）方法

3.getHeaderNames（）方法

package com.yyz.request;
 import java.io.IOException;
 import java.util.Enumeration;
 import javax.servlet.ServletException;
 import javax.servlet.http.HttpServlet;
 import javax.servlet.http.HttpServletRequest;
 import javax.servlet.http.HttpServletResponse;
 //获取请求头
 public class RequestDemo extends HttpServlet {
   public void doGet(HttpServletRequest request, HttpServletResponse response)
       throws ServletException, IOException {
     String head = request.getHeader("Accept-Encoding");
     //有些浏览器不支持压缩数据
     if(head.contains("gzip")){
       //输出压缩数据
     }else{
       //输出不压缩数据
     }
     //获取指定名称的头的所有值
     Enumeration e = request.getHeaders("Accept-Encoding");
     while(e.hasMoreElements()){
       String value = (String ) e.nextElement();
       System.out.println(value);
     }
     System.out.println("------------------------");
     //获取所有的头和值
     e = request.getHeaderNames();
     while(e.hasMoreElements()){
     String name = (String)e.nextElement();
     String   value = request.getHeader(name);
     System.out.println(name+"="+value);
     }
 }
   public void doPost(HttpServletRequest request, HttpServletResponse response)
       throws ServletException, IOException {
     doGet(request,response);
 }
 }

在浏览器访问该程序，后台输出如下：

三、获得客户机请求参数（客户端提交的数据）：

1.getParameter（name）方法

2.getParameterValues（String name）方法

3.getParameterNames方法

4.getParameterMap方法，做框架时大量使用

package com.yyz.request;
 import java.io.IOException;
 import java.util.Enumeration;
 import java.util.Map;
 import java.util.Map.Entry;
 import javax.servlet.ServletException;
 import javax.servlet.http.HttpServlet;
 import javax.servlet.http.HttpServletRequest;
 import javax.servlet.http.HttpServletResponse;
 //获取请求数据
 public class RequestDemo extends HttpServlet {
  public void doGet(HttpServletRequest request, HttpServletResponse response)
    throws ServletException, IOException {
   //http://localhost:8080/test/servlet/RequestDemo?name=yyz
   String value = request.getParameter("name");
   System.out .println(value);
   //http://localhost:8080/test/servlet/RequestDemo?like=sing&like=dance
   String likes[] = request.getParameterValues("like");
   if(likes!=null){
    for(String like : likes){
     System.out.println(like);
    }
   }
   //下面是这种遍历的专业写法,获取数组数据的方式（可避免空指针异常）
   for(int i=0;likes!=null&&i map = request.getParameterMap();
   for(Entry me : map.entrySet()){
    String name = me.getKey();
    String [] v = me.getValue();
    System.out.println(name+"="+v[0]);
   }
 } 
  public void doPost(HttpServletRequest request, HttpServletResponse response)
    throws ServletException, IOException {
   doGet(request,response);
 }
 }

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

Requests库常用方法及参数介绍

Requests库常用方法及参数介绍

Requests 库中定义了七个常用的请求方法，这些方法各自有着不同的作用，在这些请求方法中 requests.get() 与 requests.post() 方法最为常用。请求方法如下所示：

常用请求方法

方法说明

requests.request()

构造一个请求对象，该方法是实现以下各个方法的基础。

requests.get()

获取HTML网页的主要方法，对应于 HTTP 的 GET 方法。

requests.head()

获取HTML网页头信息的方法，对应于 HTTP 的 HEAD 方法。

requests.post()

获取 HTML 网页提交 POST请求方法，对应于 HTTP 的 POST。

requests.put()

获取HTML网页提交PUT请求方法，对应于 HTTP 的 PUT。

requests.patch()

获取HTML网页提交局部修改请求，对应于 HTTP 的 PATCH。

requests.delete()

获取HTML页面提交删除请求，对应于 HTTP 的 DELETE。

上述方法都提供了相同的参数，其中某些参数已经使用过，比如headers和params，前者用来构造请求头，后者用来构建查询字符串。这些参数对于编写爬虫程序有着至关重要的作用。本节对其他常用参数做重点介绍。

SSL认证-verify参数

SSL 证书是数字证书的一种，类似于驾驶证、护照和营业执照。因为配置在服务器上，也称为 SSL 服务器证书。SSL 证书遵守 SSL 协议，由受信任的数字证书颁发机构 CA（电子认证服务）颁发。 SSL 具有服务器身份验证和数据传输加密功能。

verify参数的作用是检查 SSL 证书认证，参数的默认值为 True，如果设置为 False 则表示不检查 SSL证书，此参数适用于没有经过 CA 机构认证的 HTTPS 类型的网站。其使用格式如下：

response = requests.get(
  url=url,
  params=params,
  headers=headers,
  verify=False
)

代理IP-proxies参数

一些网站为了限制爬虫从而设置了很多反爬策略，其中一项就是针对 IP 地址设置的。比如，访问网站超过规定次数导致流量异常，或者某个时间段内频繁地更换浏览器访问，存在上述行为的 IP 极有可能被网站封杀掉。

代理 IP 就是解决上述问题的，它突破了 IP 地址的访问限制，隐藏了本地网络的真实 IP，而使用第三方 IP 代替自己去访问网站。

1) 代理IP池

通过构建代理 IP 池可以让你编写的爬虫程序更加稳定，从 IP 池中随机选择一个 IP 去访问网站，而不使用固定的真实 IP。总之将爬虫程序伪装的越像人，它就越不容易被网站封杀。当然代理 IP 也不是完全不能被察觉，通过端口探测技等术识仍然可以辨别。其实爬虫与反爬虫永远相互斗争的，就看谁的技术更加厉害。

2) proxies参数

Requests 提供了一个代理 IP 参数proxies，该参数的语法结构如下：

proxies = {
      '协议类型(http/https)':'协议类型://IP地址:端口号'
    }

下面构建了两个协议版本的代理 IP，示例如下：

proxies = {
   'http':'http://IP:端口号',
   'https':'https://IP:端口号'
}

3) 代理IP使用

下面通过简单演示如何使用proxies参数，示例如下：

import requests
​
url = 'http://httpbin.org/get'
headers = {
    'User-Agent':'Mozilla/5.0'
}
# 网上找的免费代理ip
proxies = {
    'http':'http://191.231.62.142:8000',
    'https':'https://191.231.62.142:8000'
}
html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
print(html)

输出结果：

{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Cache-Control": "max-age=259200",
    "Host": "httpbin.org",
    "User-Agent": "Mozilla/5.0",
    "X-Amzn-Trace-Id": "Root=1-605073b0-4f54db1b2d2cfc0c074a1193"
  },
  # 注意此处显示两个IP，第一个是你自己的真实IP，另外一个是对外展示的IP
  "origin": "121.17.25.194, 191.235.72.144", 
  "url": "http://httpbin.org/get"
}

由于上述示例使用的是免费代理 IP，因此其质量、稳定性较差，可能会随时失效。如果想构建一个稳定的代理 IP 池，就需要花费成本。

4) 付费代理IP

网上有许多提供代理 IP 服务的网 站，比如快代理、代理精灵、齐云代理等。这些网站也提供了相关文档说明，以及 API 接口，爬虫程序通过访问 API 接口，就可以构建自己的代理 IP 池。

付费代理 IP 按照资源类型可划分为：开发代理、私密代理、隧道代理、独享代理，其中最常使用的是开放代理与私密代理。

开放代理：开放代理是从公网收集的代理服务器，具有 IP 数量大，使用成本低的特点，全年超过 80% 的时间都能有 3000 个以上的代理 IP 可供提取使用。

私密代理：私密代理是基于云主机构建的高品质代理服务器，为您提供高速、可信赖的网络代理服务。私密代理每天可用 IP 数量超过 20 万个，可用率在 95 %以上，1 次可提取 IP 数量超过 700 个，可以为爬虫业务提供强大的助力。

付费代理的收费标准根据 IP 使用的时间长短，以及 IP 的质量高低，从几元到几百元不等。89 免费代理（）是一个专门提供免费代理 IP 的网站，不过想找到一个质量较高的免费代理好比大海捞针。

用户认证-auth参数

Requests 提供了一个auth参数，该参数的支持用户认证功能，也就是适合那些需要验证用户名、密码的网站。auth 的参数形式是一个元组，其格式如下：

auth = ('username','password')
其使用示例如下所示：
class xxxSpider(object):
  def __init__(self):
    self.url = 'http://code.tarena.com.cn/AIDCode/aid1906/13Redis/'
    # 网站使用的用户名，密码
    self.auth = ('c语言中文网','c.biancheng.net')
​
  def get_headers(self):
      headers = {'User-Agent':"Mozilla/5.0"}
      return headers
​
  def get_html(self,url):
      res = requests.get(url,headers=self.get_headers(),auth=self.auth)
      html = res.content
      return html
...

如果想更多地了解关于 Requests 库的参数，可以参考官方文档：